白衣庵依山而建，建于宋朝時期，距今將近900年的歷史，由于庵堂里面一直供奉一座白色觀音泥塑像而取名“白衣庵”。登數十級青石曲徑，進入庵門，可以看到庵洞如穹窿，深約7米，寬約11米，高4米，洞頂有石乳石窩微微凸顯。巖室寬大如廳，可容百人，堂上供佛像10多尊。這里，歷來都有一些身世凄涼或逃禍避難的婦女來此削發為尼，修行苦度。

1992年，白衣庵前增建一座三世佛室，室門書有對聯：“湖水漾清波，禪寺鐘聲敲鏡月；巖云封古洞，獅峰林影弄煙霞”。

這幅對聯詩意頗濃，道出了庵洞周圍的優美景色。是游人尋幽靜思的好地方。