文昌阁始建于明末，早期仅有楼、东亭、从北至西南的走廊和院中两棵
古柏。清同治二年节（1863）回民反清时，楼阁一时尽毁。现阁院东南角的一棵古柏为当年被烧去半面皮而幸存下来的。清代光绪年间重建楼阁和东南厦房，其内墙壁嵌有光绪二十八年（1902）邑人王权撰《大像山文昌阁创立文社碑记》。民国十五年（1926）又增修南厢房，为卷棚顶，砖木结构，分上下两层，底层为地藏室，上层为僧房，后墙左右皆有望窗。门两边有木刻联，为民国时县内名人宋延桢题，其子宋梓篆联：“楼构数椽窜膝易，窗开三面会心多”。内耳房门额有籀字“共星轩”、“通帝座”，中央佛阁中所奉木雕“西方三圣”（中为阿弥陀佛、左为
观世音菩萨、右为大势至菩萨立像）。文昌阁整个建筑以四合式封闭院落为布局，东亭、北廊、西宇皆有望窗，可任意瞰视渭川风光。出后门额首籀“积上台”三字，并通甬道。
甘谷县内文昌阁有多处，但大像山文昌阁规模最大。沿大像山寺小道石阶慢步而止，约三百余步，即为文昌阁。文昌阁建筑面积为182.9平方米，总面积为260.9平方米。阁门前有石阶二十四台，门首有砖雕阳刻篆字“孝友门”三字，两边“阁凌碧字迎朝爽，门对朱山映晚霞”砖刻隶书楹联,系清末民国初本县名士宋延桢手笔.门右侧立有虎皮照壁,南向,壁上嵌有今人魏学文(书名雨 )隶书“落霞岩”三字，字体清秀柔和。文昌楼楼矗于院内，为重檐门柱六角亭式阁楼，分上下两层，砖木结构。上层檐下绘栋画壁，其图案富于写实。下层檐前回廊壁间有书画五幅。其中竹与兰草为
天水名字何晓峰所画；别有本县书法家
武克雄草书：“山头禅室挂僧衣，窗外无缺溪水鸟飞。黄昏半在下山路，却听泉声恋翠微”。魏学文隶书《兰亭序》；另一幅“喜鹊闹梅”为
礼县文化馆干部马 所画。楼顶作六脊攒尖式，有鸱甍。阁楼高10米,占地33.5平方米,楼座为砖砌筑的
须弥座。楼上旧有泥塑文昌帝君像和清代邑人王权写的长联：“帝坐面三峰，恰在此时鄂骞石鼓，鸿翥缇群，檐前便是重霄路，星池涵万象，看气润珠躔，浑联壁府，榜下频出五色云”。楼下有1944年新塑的文昌帝.
文昌阁始建于明末，早期仅有楼、东亭、从北至西南的走廊和院中两棵古柏。清同治二年节（1863）回民反清时，楼阁一时尽毁。现阁院东南角的一棵古柏为当年被烧去半面皮而幸存下来的。清代光绪年间重建楼阁和东南厦房，其内墙壁嵌有光绪二十八年（1902）邑人王权撰《大像山文昌阁创立文社碑记》。民国十五年（1926）又增修南厢房，为卷棚顶，砖木结构，分上下两层，底层为地藏室，上层为僧房，后墙左右皆有望窗。门两边有木刻联，为民国时县内名人宋延桢题，其子宋梓篆联：“楼构数椽窜膝易，窗开三面会心多”。内耳房门额有籀字“共星轩”、“通帝座”，中央佛阁中所奉木雕“西方三圣”（中为阿弥陀佛、左为
观世音菩萨、右为大势至菩萨立像）。文昌阁整个建筑以四合式封闭院落为布局，东亭、北廊、西宇皆有望窗，可任意瞰视渭川风光。出后门额首籀“积上台”三字，并通甬道。