该府是世袭递降郡王府，位于东城区台基厂南侧东交民巷15号院内，始王岳乐为饶余郡王阿巴泰第四子，顺治六年因战功受封贝勒，顺治八年承郡王爵，并掌工部，参政议政，顺治十年以宣威大将军驻归化城，策划征讨喀尔喀部。

岳乐袭郡王爵并改号“安”后，府亦称为安郡王府，就连府所在胡同的地名也称为“四王栅栏”（岳乐为阿巴泰第四子，故俗称“四王”；栅栏是之置于胡同口用于防盗的拦挡物，日启夜闭）。岳乐袭郡王后又晋为安亲王，府亦称为安亲王府。又5年阿巴泰才被追封为饶余亲王。

安亲王府中轴线上主要建筑有：面阔5间的正门，面阔7间的大殿、有丹墀，面阔5间的后殿，面阔7间的后寝室。

《乾隆京城全图》上绘有昭忠祠，祠与王府格局相同，只是添建了碑亭和祭祀设施等。

及至雍正元年(1723年)因当年岳乐“陷附辅政大臣”令“安郡王爵不准承袭”，将安亲王府改建为昭忠祠。至乾隆一十三年（1779年），乾隆帝追论阿巴泰、岳乐功绩后，封其后裔华兀孙（嗣子之子）奇昆为辅国公世袭。 清末这里成了使馆区，昭忠祠被拆除，成为奥国军营，安亲王府遗迹也告消失。