文昌书院，是塔院合一的古建筑，位于怀集县城东1公里的绥江北岸，始建于明万历四十七年（1619年），建成于明天启元年（1621年），曾经作为书院存在，十九世纪五十年代被拆毁，仅余文昌阁，后在1991年7月开始按照原样修复。

文昌书院，又名文昌阁，是塔院合一的古建筑，位于怀集县城东1公里的绥江北岸，始建于明万历四十七年（1619年），建成于明天启元年（1621年）。

文昌书院为当年怀集县令谢君惠倡建，占地面积430平方米，建有北门、庭院、正堂、厢房，属中国传统式的四合院建筑，山门两侧有观阙、楹桂、石鼓；进入山门是一道木影壁，其后是前院，正面石壁上嵌有太极八卦、洛书、河图；穿过左右侧良廊，步上几级石阶便是正堂和两侧之厢房；绕过正堂后门的木雕屏风，即抵后院。文昌阁就座落在后院正中。

书院坐东向西而建，前有书院，后有文塔，五层六角形塔体直插云天，似文星拱照之巨笔，如镇守河道之大将。平面布局是坐东向西，建塔宗旨是镇锁一县河流倾泻，为兴人才而聚财气，寓怀集人才辈出，繁荣昌盛之意。

建成时总称怀集文昌书院，因院内有塔，也称怀集文昌塔。

历三百八十余载沧桑，是祖先留下的一件珍贵历史文化遗产。

该建筑于清顺治、康熙、同治、光绪年间曾重建或修缮过。五十年代初，作为书院的附属建筑全部被拆毁，仅存文昌阁。

1991年7月，文昌阁的附属建筑按原样开始重建，文昌阁亦同时修葺一新。

文昌阁高25米，墙厚0.53米，平面六角，系五层楼阁式砖宝塔，各层均用菱角砖叠涩出檐，檐下绘花纹图案及灰塑莲花瓣纹饰，塔顶六角脊檐装有卷草翘手，最顶端为葫芦形塔刹。

塔门上书“梯云”，二至顶层每层圆形或六角形窗口上，分别写有“得禄”、“桂籍”、“参天”、“文阁”字额。

1984年，文昌阁被列为怀县县文物保护单位。