在通向灵石寺的林荫石道旁，有一块巨石，上刻“香石”2字。石的体积大如一间普通的房子，以手摸石，则香留手上，以鼻闻之，则清香扑鼻。虽历尽沧桑，而清香如故，灵石山也因此而得名。此外，还有通天石、仙人岩、戏龙潭、碧玉洞等景致。
寺以山门、大雄宝殿为中轴线，左右侧为宽敞的回廊，两廊旁有法堂、钟鼓楼、禅房、斋堂、客房等，构成了一组规模宏大的建筑群。其中大雄宝殿非常壮观，系重檐歇山顶土木结构建筑，面积500多平方米，进深3间11米，面阔3间，每间5.2米，朝南偏东40度，柱础为唐代莲花础，直径1.08米，井盆式的木构架梁，藻井彩绘龙凤、飞天、宝盖莲花和牡丹等图案。寺内存有木刻《敕赐灵石俱胝天寿禅寺全图》，这是一块状似黑色碑石的原木板，据说是唐懿宗敕赐的。图是阴刻的，有寺殿庵堂、亭台楼阁、山峰岩、池潭溪坞、宫庙寮园、桥榭墓塔，真是琳琅满目，叹为观止。此外，还存有不同年代制作的钟、鼓、馨及淘米石等。
灵石寺坐落于灵石山主山芙蓉峰下。创建于唐大中元年(847年)。初由林、赵二姓舍地，由常诵“七俱胝咒”的元修和尚修建为庵。唐大中四年(850年)始创建名为翠石院的精舍，唐懿宗敕赐“灵石俱胝院”，有庵堂36个。宋代寺庙兴盛，入明后渐衰。明万历四十三年(1615年)性麟募缘，寺院有所修复。是时叶向高过访寺庙并赠诗《灵石访同我禅师》。清康熙二年(1633年)，道霈禅师募建天王建，重修大雄宝殿，保留至今。而唐代建筑仅存6根柱础。民国时期寺院曾有所修缮。 “
文化大革命”期间，佛像、法器均被捣毁。1979年后，逐步归还寺产，1984年4月，请回妙贤法师重振道场。县人民政府拨款整修大雄宝殿。各种佛像由侨僧、法师、信土捐资雕塑。1986年建起一座新山门。1987年殿宇整修一新，塑造的释迦牟尼、地藏菩萨、十八罗汉等佛像也告竣工。