1958年4月，由省文化厅拨款5000 元开建衡山县图书馆，定编 1人，开设阅览室 1个，面积 75平方米，于同年 8月1日正式对外开放。1959年迁入县大会堂二楼，另增编外人员1名。1962年因国家实行机构调整，图书馆与县文化馆合并，成为其隶属的
图书馆。1966年春，衡山县湘江以东地区新置衡东县，图书馆随县文化馆于 1970年9月迁人衡东新县城，这段时间停止开放。1971年7月1日恢复开放。图书馆订购报纸 19种，期刊 27种，收藏图书49690册。按《中小型法》类分图书，图书进行了简单的著录，设置读者、公务分类目录各一套，为方便读者利用期刊，编印《馆藏期刊目录》1期。
1975年春，衡东县图书馆恢复建制和名称，配备了四名工作人员，迁入县文化馆二楼办公，设置了阅览室、外借处、书库。受“文化大革命”的影响，原有的49690册图书，仅剩34782册。
1980年春，县政府决定另建新馆。图书馆正式从县文化馆析出，独立门户。1984年秋迁人新馆舍，同年10月1日新馆正式对外开放。1984年11月2日，由邓小平同志亲笔题额“荣桓图书馆”。
该馆占地面积 4. 9亩，馆舍面积 3138.26平方米，是一幢古典式四合院建筑。到1998年止，馆内干部职工11人，其中高级职称1人，中级职称2人，初级职称2人。书架总长度 4269. 8米，馆藏图书 74138种，计 131667册。藏书设置分为图书库、报刊库、地方文献库、季恂图书银行。收藏珍贵图书有《册府元龟》、《衡山县志》、《衡东县志》、《万有文库》、《丛书集成初编》、《十大元帅光辉业绩》光盘、磁带，《岳氏四修宗谱》......形成了有地方特色的藏书体系。1976年后使用《中图法》类分、排列图书，1989年后图书编目依据《普通图书著录规则》著录，设置分类、书名目录各两套，书名目录按书名字顺笔划排列。