此山岩侧有一石洞，名仙人洞。洞中清泉四时不竭。洞内由石岩自然成两层，上层平坦宽敞，弓行而游，内有燕窝饰壁，蝙蝠飞。底层有台阶，台阶而下上面干爽平整；内有石凳石桌，深处有美丽动人的石乳柱，人可立行，内有三维道，壁上古今游客题诗依稀可见，借景抒发游览之美；洞中清泉，四时不遏，饮而清纯。明代，山上即有寺庙，叫团岩寺。素有尼姑居住。寺周松竹掩映，景色宜人。明清时，香火兴隆，为远近闻名的佛地，香客络绎不绝。其秀丽景色，文人墨客，多有题咏。登上山顶，方圆可望数百里，大有
一览众山小之感。
清末民初，匪寇猖獗，兵火频仍。当地农民于山上，洞内设囤居住时久，以避匪患。至今古囤残垣犹存，使铁柱山倍增风采。
抗日战争期间，朱家场曾以此山命名为“砥柱乡”。以表示人民对抗日战争胜利的信心！