陶公山原名陶山，位于今沿江西路，濒临湘江，扼滔滔湘水因山势若壶形，而得名，自古为兵家必争之地。晋时著名将领陶侃曾屯兵于此，故后人改称为陶公山。在陶公山上及附近现有陶侃衣冠墓、何腾蛟衣冠墓、唐兴寺、望衡亭、唐兴桥等众多的文物古迹或遗存。

因统兵御外和对内讨平苏峻等人之乱有功，官至侍中，太尉、都督荆江等八州诸军事，领荆州、江州刺史、封长沙郡公加征西大将军，晋咸和九年（公元334）死后，遗命葬于长沙，晋成帝追赠其为大司马，并赐谥曰：“桓”。邑人为纪念他，在他驻军府所在地建有衣冠墓。墓碑正中书：“晋都督陶桓公墓”，两边书联曰：“百璧勤劳博茅土，八州都督剩松楸。”并在其垂钓处建有钓鱼、望岳二亭。他的军府所在地也被建为石头寺（今唐兴寺）。

字云从，贵州黎平人，明末督师，武英殿大学士。清顺治六年，在湘潭抗清兵败，为清兵所擒，被杀害于县城东南流水桥。南明永明王闻此，深为哀悼，赐祭者九，赠“中湘王”，“谥文烈”。后人为纪念他，在陶侃衣冠墓侧亦建其衣冠墓。清人在祭祀时有诗云：“幸葬中湘文烈王，陶公山气郁苍苍，踏青修禊游人伙，争奠苣兰围墓香。”

晋时名石头寺，唐时因有名僧智俨居此，寺旁有智俨石塔，故又名石塔寺。唐代大文学家、诗人刘禹锡曾作智俨大师石塔铭，其中说：“……长沙潭西逾五里，陶侃故居石头寺，门前一带湘江水，吁嗟律师之名兮与湘流而不己。”寺周有围墙，山门在寺东金鸡桥，入内有钟鼓楼，正门外有铁顶六角石塔，前殿供奉弥勒佛，后列四大天王和十八罗汉，匾题“皆大欢喜”。正殿供奉释迦牟尼佛、药师佛、地藏王菩萨，后殿供奉千手观音佛。殿后有一院落，原有水阁凉亭，苍松翠柏、桐花海棠，十分可观。旧传褚遂良题有诗句：“远山山酋 山卒 翠凝烟，烂漫桐花二月天；踏遍九衢灯火夜，归来月挂海棠前。”清人亦题诗曰：“古刹千年石径中，钓台长旁梵王宫，蒲团僧证三繙静，塔影禅参半偈空。事业晋唐钟磬寂，渊源衣钵水云氵蒙 。还余老衲传经罢，更与段勤说褚公。”

据史书记载：唐永徽六年（公元655），朝廷顾命大臣、大书法家褚遂良，因谏高宗立武昭仪（武则天）为后，被贬为潭州都督。褚公怀愤，至于湘潭，游石塔寺，奋笔书成：“大唐兴寺”，寺遂改今名。原石额为全国著名牌匾，现藏于市博物馆。唐杜甫游此，见褚公之书，诗赞曰：“贾傅才何有，褚公书绝伦。”

历代诗人到此留下许多佳句。如：唐代诗人杜荀鹤《霁后登唐兴寺水阁》诗：“一雨三秋色，萧条古刹间。无端登水阁，有处似家山。白日生新事，何人得暂闲。将知老僧意，未必恋松关”。五代孟宾于《湘江亭》诗：“独宿大中年里寺，樊笼得出事无心。寒山梦觉一声馨，霜叶满林秋正深。”（湘江亭位于唐兴寺侧）。宋代张木式 题《唐兴寺湘江亭》诗：“寺废苍岩耸，江回远岸明，风雷摧翰墨，岁月老丝缗。兀坐知茶味，闲行忘去程。长哦伊水句，回首若无情。”

陶公山下，与窑湾相接。因邻近唐兴寺而得名。始建于唐，经历代维修，至今保存完好，车辆仍能过往。桥身系单孔花岗岩结构，净跨12米，宽6米，旧时为湘潭城通往县城西、南方向以及湘乡、衡山、邵阳等地的必由之道。桥面两侧均为花岗石栏杆，柱头缀以石雕小狮、小象、小鹿、小兔等，形态生动逼真。漫步桥头，湘江碧透，舟樯林立，杨梅绿洲，江山浮现，石嘴迎风，雄伟屹立。近代湘潭著名教育家、书法家所书“江山胜迹”四个摩岩大字，铭勒于临江峭壁之上。咸丰三年（1853年）林绍璋率太平军于古历四月二十四克湘潭，旋湘军与之展开水陆大战，是为决定双方最终命运的重要战役，历史上称“湘潭之战”，唐兴桥旁曾设战垒。