灵岩寺古称“鹫峰寺”，始建于唐开元8年前后（即公元721年左右）。唐德宗年间改称“灵岩寺”；清同治二年改称“南山寺”； 地理位置处于东经117——118度，北纬30——31度。曾建有鹫峰山门牌楼、三圣殿、大佛殿、灵观殿、藏经阁、钟楼等佛教建筑，还有僧舍寮房数十间，此外，沿山道溪流还建有白马桥、狮子桥、玉带桥。沿山脚通往灵岩寺的弯弯山道上，随处可见古人在山岩上凿成的石阶。

南陵县民国版《营建志》中有这样一段文字记载：“灵岩寺县西五十里进德乡，唐贞观二年，金地藏创建，元末毁。明洪武五年重修。按，寺在今西乡十五都二图丽鹫峰，仍旧名，进德乡有香灯田数亩。”

灵岩寺庙饰物构件

保存较好的灵岩寺明代石雕狮子

保存较好的灵岩寺明代石雕狮子，该公狮子轻轻敲击能发金属之声

由于历史上战火不断，灵岩山的佛教文化曾多次遭到毁灭性的打击，出现了屡建屡毁的历史过程。首次遭到毁坏的是“唐武宗李炎灭佛事件”（即公元842年左右）；二是元代末年遭战火的毁灭，到了明代洪武年又全面建成；三是清代咸丰年间遭到太平军的严重焚毁，鹫峰山门和三圣殿等建筑焚毁殆尽，殿内各类精美佛像等均遭粉碎，虽然清光绪年间个别庙宇和部分僧舍得到恢复重建，但香火从此逐渐衰弱。1966年改建成南山医院，众多寺庙雕刻饰件和石础以及碑刻等，多数被用于水渠修葺和医院墙基。至此，灵岩寺（南山寺）不复存在，佛教僧众与香客开始绝迹灵岩山。