宋仁宗嘉佑元年（1056年），御史吴中复、吴中纯昆仲隐居并终老于此，为此，又称“吴明山”。明
嘉靖时，晋江人黄伯善在《紫云室募缘功德碑》中称它“地跨南洲之胜，峰若鹏博”，即是此意。泉州市
佛教协会宝心禅师曾撰书一联“紫岭吴山千壑秀，太平云谷七墩奇”，概括了灵源山的诸多别称，描绘了山峦谷壑的奇秀。 灵源山历代有不少儒生结庐读书。唐代首开八闽科第的欧阳詹就曾居此山读书三载。《泉州府志》载：“有灵源庵，宋进士林知读书处。”林知读书终老灵源山，并终葬于此。其后，林知裔孙，曾写下传世之作“山外青山楼外楼”的诗人林外，也曾读书山中紫云室。还有如
元代任过潮州路总管、元亡后寓居本邑沙堤的王翰，常盘桓灵源山上，自称“友石山人”。
明代黄克晦、王慎中、陈让、张瑞图、苏浚等名士都留下咏灵源山的诗篇，至今为人传颂。 灵源山中有步云关、望江石、石境道人之塔、紫云室、灵泉井、七星墩、公婆石、狮仔石、灵壶天等胜迹。其中，“灵壶天”三个娟秀的楷书大字刻于村西一状如酒壶的巨岩上，下有溪涧潺潺，是里人明工部尚书、太子太傅吴淳夫于万历四十七年题写的。 站在灵源山上，伫立灵源寺前，“南眺大海，可历数百余里；北顾郡治，山川城廓历历如绘”（《泉州府志》）。古来许多文人学者在此停驻游览，留下许多诗文和名联。如宋代
泉州人、宰相曾公亮撰书的“灵山好作西天界，源水能通南海潮”、唐道士蔡明的“暮烟横远岫，宿雾锁奇峰”等。如今，寺中珍藏着一副楹联，联上写道“洞口春深烟雨，海门夜半渔灯”，这副楹联不但写出了暮春烟雨迷茫的景色，而且，描绘了夜半时分海上渔火闪烁的奇观。相传是
郑成功撰书，后被毁，清代翰林院庶吉士庄俊元重书，现寺中所存即为庄俊元所书真迹。
灵源山地处
福建晋江灵源街道的灵水社区，海拔305米，是泉南一座名山，山上有泉南最享盛名的寺庙之一灵源寺和众多古人留题的摩岩石刻。自古名山僧占多”，相传早于隋初，就有僧人于灵源山顶立寺祀奉观音大士，常有紫云盖上，故号“紫云寺”。传至五代，有高僧一粒沙由此往开龙山寺。唐代又有道士蔡明浚来庵隐居，与寺僧守净共同扩建。宋仁宗
嘉祐元年，御史吴中复、吴中纯昆仲于此隐居修道。元末明初，
陈友谅举事兵败，其骁将张定边亦遁于此山，削发为僧，号沐讲禅师并建新寺于山腰。经历代僧众保护修葺，千年古刹灵源寺现已成为泉南最享盛名的禅林之一。
1982年至1995年，灵源寺开辟了自泉安公路至寺院的盘山公路3。2公里，并铺设水泥路面2公里。在距寺院三百米处和大殿广场旁建立了两座雄伟的山门。寺庙左右及山门附近奇石佳景处，分别建有坝上亭、慈济亭、四达亭等七座亭阁，与殿宇互相辉映。
原先的寺宇及两旁的附属建筑扩建为一座五开间三进深，重檐歇山顶的巍峨大殿，面积达462平方米。大殿前连着一座三开间的拜亭，飞檐翘脊，金碧辉煌，轩朗而宏丽。拜亭及殿廊均采用透雕玲珑精致的青石盘龙柱，柱上镌刻镏金对联，其中有相传为
宋代宰相
曾公亮题的“灵山好作西天界，源水能通南海潮”，有明代探花，书法大家张瑞图手书的“从闻思修大士何曾出世;法界定慧众生各自开堂”，以及一幅古代流传下来佚名的“洞口春深烟雨、海门夜半渔灯”等名联。还悬有清代翰林庄俊元题的“古佛”，中国佛教协会主席赵朴初题的“灵源禅寺”、原全国人大常委会副委员长彭冲题的“天坛”等匾额。1998年，大殿后又落成一列三座殿宇，中为大雄宝殿，右为地藏殿，左为祖师殿。地藏殿外墙上还嵌着从灵源旧寺址发现的
光绪廿一年乡人捐修灵水至灵源山大路记事、光绪丁酉年重建寺宇以及是年晋江县令发布的保护寺院禁止闲杂人等到庙吵闹滋事的碑记。
大殿前面，铺有1500平方米的钢筋水泥广场，十分宽敞。广场前临山谷处，因势建筑起一列双层地下室，作为接待四方宾客的宿舍和食堂之用。高低错落，布局有致的灵源寺建筑群成为灵源山又一道风景，与灵源山山林胜景交相映衬，相得益彰。无怪乎日日吸引游客接踵而来，流连忘返。