湛盧山中有清涼寺，建于唐中宗神龍年間，歷經修繕，今猶完好。佛閣經堂，飛檐逐云，既入山門，順回廊直入大雄寶殿，兩廂及后院為游客休憩之所，凡九十九間，處處相通，可容千人住宿。每逢盛夏，遠近游客，不顧勞累，翻山越嶺，策杖攀藤，興致勃勃，來此探勝。

宋元符二年，為紀念縣人周才在山上祈雨，在舊址上重建，經歷代擴建，有下、中大殿及偏殿、僧舍禪房數十間。殿中從奉彌勒、天王、三寶、觀音、羅漢等佛像。

續(xù)賢庵（又稱中庵）：為北宋理學家楊時的七世孫楊纓就任湛盧山長時所建，并撰有"續(xù)賢庵記"。