清馥殿建成于明朝嘉靖十年（1531年）。十一年三月，在清馥殿前建丹馨门和锦芳、翠芬二亭。清馥殿是明世宗嘉靖行香之所。康熙初年，因急修孝陵，材料短缺，故而将西苑清馥殿拆除，在清馥殿基址，又建成“弘仁”寺。

《明宫史》宫殿规制记载：“金海石桥之北，河之西岸向南，曰玉熙宫、曰承华殿即迎翠殿、曰宝月亭、曰芙蓉亭、曰清馥殿、曰丹馨殿、曰锦芳亭、曰翠芬亭、曰长春门、曰昭馨门、曰瑞芬门、曰馥景门、曰仙芳门、曰馥东门、曰馥西门、曰澄碧亭、曰腾波亭、曰飞霭亭、曰腾禧亭即黑老婆殿也，曰妈妈井。”以上这些明朝宫殿群，位于当今北京北海团城西之石桥西头，北海之西岸，顺河向北至五龙亭而建。清馥殿前建有丹馨门和锦芳、翠芬二亭。在西苑建清馥殿同时，还建有帝社、帝稷之坛和恒裕仓。清馥殿是行香之所，世宗崇信道教，经常在这里与群臣做道场，也常陪同其生母兴国皇太后幸清馥殿，嘉靖帝至西苑清馥殿等处活动近三十年。

公元1661年，年仅24岁的顺治皇帝驾崩，他的第三子玄烨即位，年号康熙，此时的清王朝刚刚入主中原，经济困难，时局动荡。为了能够让顺治皇帝早日入土为安，康熙皇帝下令拆除了清馥殿等明朝宫殿，使用拆下来的旧料来建造孝陵。

后来拆毁后的清馥殿改建为弘仁寺，供旃檀佛像，俗称旃檀寺。

入关后的第一个皇帝顺治，死后葬于清东陵孝陵，但是这么庞大的工程孝陵却仅用时一年半便完工，当地一直流传一种说法称“是拆了明陵建清孝陵”。

1991年，当拆卸孝陵隆恩殿天花板时，意外发现了一条线索，天花板背后两条穿带之间，有木工信手刻就的文字。不仅透露出了殿堂的名字，还表明每块天花板的方位。在文字清晰的十八块天花板背后，都刻有“清馥殿”的殿名。几百年孝陵建造之谜，在近年孝陵维修工程中得以揭晓，多年来“拆明陵、修清陵”的谬说终于得以澄清，正确的结论是“拆明宫，建孝陵”。