江汉书院系明代
提学葛寅亮主持创办，以江、汉二水为楚地之望而定名。原址在武昌
文昌门内。清
顺治年间定为直省书院，迁至忠孝门内巡道岭（今
粮道街武汉中学处）。
康熙年间，巡抚
陈诜、
张连登等次第修葺，巡抚
林天擎集多士肄业，捐赀供给。
雍正年间，朝廷赐帑金千两，总督
德沛又捐赀若干，规模有所扩大。
张之洞任
湖广总督时，于该院原设天文、地理、兵法、算学四门外，又添经史一门。
学生主攻功今文、试帖诗、按月宫、师二课，官课自总督至武昌知府，。后江夏县、汉阳县令亦来讲课。师课则院长每月讲课一次。官课考试有奖金，师课有
膏火无奖金。1739年（
乾隆四年）曾拓地扩建，内设十贤词，祀濂溪先生、
二程、
横渠先生、考亭、南轩、
陈良、
公孙龙、任不齐、
赵复等；又有德教祠，祀肇建书院督抚司道及历次输资有功书院者。又有题名碑记，凡诸生中试者，皆镌名其上，以资鼓励。
江汉书院于1853年（
咸丰三年）
太平军占领武昌时被毁。1862年（
同治元年）湖广总督官文和邑绅陈庆溥集资重建。1867年，书院
山长雷以诚呈请鄂督
李鸿章批准，进行扩建，补修了斋舍，使肄业生员达2400名，课程内容主要是“
四书”、“
五经”和宋明先儒著作。
次年，任湖北
学政的张之洞到各府主持考试，将各府诸生才学优秀者送江汉书院肄业，除筹给膏火费外，还捐购经史书籍庚置院中，以便学生们能育习研摩，专务实学。1897年（光绪二十三年）已为总督的张之洞根据新形势，对书院进行改章，除传统课程外，又增设天文、地理、算学、兵法等科目。本院分教习多由经心书院分教兼任。1902年并入
经心书院改为勤成学堂。