湘乡市图书馆始建于清咸丰二年（1852年），其前身是设在古邑龙城荷花池的“藏经阁”。1929年改为县立图书馆。2013年，在湘乡市委、市政府的高度重视下，投资近2亿元，建设了建筑面积1.5万平方米的新馆。湘乡市图书馆为全省最早的县级图书馆。2013年，被评定为“国家一级图书馆”。

1952年8月，人民文化馆成立，接管了“湘乡县民众教育馆”遗留下来的部分图书，在文化馆里设图书室。湘乡县图书馆正式建立。

1986年，湘乡市图书馆新建面积为1648平方米的馆舍，1987年4月，新馆正式开放。设有报刊阅览室、少儿阅览室、外借处、书库和办公室、会议室、资料室、报告厅等。并添置了价值3万元的设备。现编制10人，其中大专以上文化程度3人，中级职称1人。

湘乡市图书馆现藏书112306册，报纸、杂志230多种。藏书以社会科学类为主，占馆藏的 60％左右，重点是文学和历史书籍。自然科学类占馆藏的 40％左右。馆藏中有古籍线装书7772册，《万有文库》5044册。部分属国家级和省级善本。

地方文献资料有《湘乡县志》（同治刊和1993年新刊本）、《湘乡艺文志》、《湘乡文艺》、《湘乡科技》、《湘乡报》、《湘乡党史资料》、《湘乡文史资料》、台湾版《湘乡文献》、湘乡文学社团社刊资料及湘乡籍人士著作著述数百种等。

2013年，被评定为“国家一级图书馆”。

2023年12月18日，被文化和旅游部评定为一级图书馆。