衡阳铁路运输法院的前身“广州铁路运输法院衡阳分庭”始建于1954年4月，1957年8月被撤销。1980年10月，衡阳铁路运输法院成立，1982年5月1日开始办案，办公地址位于湖南省衡阳市珠晖区东三环56号。成立时人员编制34名，内设机构4个，分别为：刑事审判庭（1984年3月更名为刑事审判第一庭）、控告申诉庭（1984年3月更名为刑事审判第二庭）、经济审判庭、办公室。最初管辖范围包括衡阳铁路分局管内所属单位以及广州铁路局座落在衡阳铁路分局管内的单位，受理辖区内检察机关提起公诉的刑事一审案件、刑事自诉案件以及与铁路运输有关的经济案件、涉外案件。

2012年随铁路法院整体改制与铁路企业分离，湖南省内铁路运输法院整体移交给湖南省属地管理，纳入国家统一司法管理体系，衡阳铁路运输法院直属湖南省高院，人财物由湖南省财政保障，所管辖案件中涉铁路运输刑事、民事案件上诉法院为广州铁路运输中级法院。转制移交之后，衡阳铁路运输法院管辖范围包括湖南省衡阳市、郴州市、永州市等地与铁路有关的单位和辖区，受理辖区内铁路公安机关侦查、铁路检察机关侦查并提起公诉的刑事案件、发生在辖区内符合刑事诉讼法规定的自诉案件，受理辖区内与铁路运输有关的民商事纠纷案件和执行案件，2017年5月1日起，经最高人民法院指定管辖，受理衡阳市珠晖区、石鼓区两区范围内的机动车交通事故责任纠纷案件、衡阳市范围内的环境资源案件两类一审民事案件，受理湖南省高级人民法院指定的其他民事案件、执行案件。2019年5月1日起，根据最高法院的批复和湖南省高院的改革方案，集中管辖衡阳市范围内原属各区、县、市（县级）人民法院管辖的一审行政案件，其中机动车交通事故责任纠纷案件、环境资源案件、行政案件上诉法院为衡阳市中级人民法院。

衡阳铁路运输法院内设机构5个：立案庭（诉讼服务中心）、行政审判庭（综合审判庭）、执行局、政治部（机关党委）、综合办公室（司法警察大队）。