百泉書院宋元時稱為太極書院，位于百泉湖東岸。創(chuàng)建時間為宋，到了元時，有了很大的發(fā)展，其中關(guān)鍵人物是姚樞，姚樞曾任燕京（北京）行臺郎中，1141年辭官來輝隱居，耕荒種田，耕讀自樂，自刊《小學》《論孟》等書，散之四方，以惠學者。慕姚樞之名，1250年，著名學者許衡、竇默也從河內(nèi)（河南沁陽）、肥鄉(xiāng)（河北大名）來到百泉。他么在太極書院內(nèi)，經(jīng)傳、子史、禮樂、名物、星歷、兵刑、食貨、水利無所不授。不論學生出身貴賤、智商高低，他們都能因人施教，使求學者皆有所得。百泉彈丸之地，遂成理學淵藪。一時擔簦負芨者，絡(luò)繹于道，使得太極書院與朱熹創(chuàng)辦的鹿洞書院，陸就淵創(chuàng)辦的鵝湖書院并駕齊驅(qū)。因當時的許多名臣和學者都曾受學于此，故后人在評說理學的發(fā)展時有“宋興伊洛，元大蘇門”（意即理學興起于宋代的洛陽，發(fā)揚光大在元朝的輝縣蘇門山）之說。

姚樞等人離開百泉后，太級書院漸漸蕭落。到了明代成化面間，沉寂了220余年的太級書院又得以復興。河南提學僉事（省級主管教育的官員）吳伯通、知府張謙在太級書院舊址上，又建起了百泉書院。

據(jù)當時的參政大學士劉建《百泉書院記》載：“（百泉書院）于成化庚子（1480年）4月始建，至壬寅（1482年）3月竣工，歷時兩年。凡為屋三重（即三進院），為楹六十有二，匾其前曰‘先賢祠’，內(nèi)祀周敦頤、邵雍、司馬光、程顥、程頤、張載、朱熹、張栻、呂東萊、許衡10人，另以姚樞、竇默二人配享；中曰‘講道堂’，左右為齋凡八（即八排房）；后曰‘主敬堂’，左右為齋凡四（即四排房），合匾之曰‘百泉書院’”。由此可見，百泉書院的規(guī)模在當時已經(jīng)非常宏大了。

明崇禎15年（1642年），開封遭李自成軍隊圍攻，決水淹城，省貢院遂移至百泉院。自清順治2年（1645年）至清順治14年（1657年），共歷6科，后改為科舉考試的地方。

清順治、康熙二朝，是百泉書院的又一個鼎盛時期。順治7年（1650年），一代大儒孫奇逢自河北來輝，在百泉書院主講“夏峰之學”，四方學者，紛至沓來，使得百泉書院與襄城老來章主持的嵩陽書院、柘城竇克勤主持的朱陽書院三足鼎立，馳名中州。李來章是孫奇逢的弟子，竇克勤又拜孫奇逢的弟子耿介為師傳習百泉之學，所以嵩陽書院、朱陽書院及李來章后創(chuàng)的南陽書院、紫云書院及廣東連山書院等，都已是百泉之學的一傳、再傳之學。百泉書院不僅在中州獨占鰲頭，還同浙江的姚江書院、陜西的磋中書院一起，站在全國諸多書院的前列。

清乾隆7年，百泉書院又行重修，規(guī)模 較前更為恢弘。乾隆15年（1750年），乾隆皇帝巡游百泉，將百泉書院改為行宮。道光6年（1826年），知縣周際華立《學約十條》（立學、立教、立志、立身、立德、立功、立言、立名、立城），將書院由百泉湖畔移至輝縣城內(nèi)。光緒末年，西風東漸，學堂勃興，百泉書院停辦（其舊址在今輝縣城內(nèi)書院街）