据古碑记载，寺院原名赦齐寺，始建于北齐文宣帝高洋天保年间，为高洋皇帝中宫之一，内有高僧住持，旧时有碑载焉。该寺位于漳水之旁，风景幽雅，松柏长培，古刹辉煌，庙宇雄伟。漳水上开下合，绕于寺外，前有金桥，后有龙洞，又有回影返照之光，景色宜人。至唐开元丙子年，寺前又修关帝大殿一座。宋元年间不断修补扩建。明万历十四年夏四月，修建山门，立碑作记。是时，本寺位居四县相交之界，属
安阳县地一角，地广十八亩。经四县协商计议，把赦齐寺改名安阳寺，四县一州每年行署官驿在此。
回隆位于中原大地腹心，历史上，黄河、卫河、漳河、都曾流经回隆，这里水陆交通便利，物阜民丰，商贸繁荣，不仅是兵家、商家，而且也是地方行政区划必争之地。回隆在明、清、民国数百年间一直属两省、两府、四县加一州管辖。即河北（京师或直隶）、河南两省；大名、彰德两府；一州指开州（今濮阳）。河北在明朝称京师，在清朝称为直隶。
临漳县在明清以及民国时期属于河南省彰德府（今
安阳市）管辖。魏县也一度划入大名县。因此，明清数百年来，回隆镇西街属临漳管辖，北街属大名县管辖，南街属安阳县管辖，东街属内黄县管辖。另外开州有一绅士在回隆管辖有三十亩地。故以上诸府、县对回隆历史均有记载。 解放后，回隆全部划归魏县。
回隆镇历来繁荣，人口密集，因此，有很多庙宇。对于回隆寺庙有三山六寺九台十八庙之说。今天，行走于回隆镇内，可见临漳寺、玄武庙、关帝庙、泰山奶奶庙、安阳寺、苍龙庙、龙王庙、三贤庙等诸多庙宇，另有很多庙宇如二郎神庙在文革期间被拆就没有再恢复。