金溪县图书馆雏形是1951年建立的金溪县文化馆图书馆借阅室。1978年10月县委、县政府正式下发要独立建馆，性质为公益性事业单位。

金溪县图书馆老馆在金溪县老街，是一幢老房子馆舍陈旧简陋，全馆面积只有145㎡，书库面积26㎡，借阅面积119㎡。1987年被房管部门鉴定为三级危房。2003年8月，新馆奠基。2004年11月，主体工程竣工，历时近4年，耗资近300万元。2007年6月新建图书馆对外正式开放。新馆坐落在象山公园，建筑面积2300㎡，环境优雅，风景秀美。现有工作人员9人，设有办公室、采编室、咨询室等多个部门。设有图书外借室、期刊借阅室、报纸阅览室、儿童借阅活动室等。全馆阅览室坐席368个，计算机48台。选用ILASIII图书馆自动化管理系统。

2023年12月18日，被文化和旅游部评定为一级图书馆。