顺治元年(1644),在北京降清,授原官,不久改任翰林院
侍读学士,掌管院事,赐鞍马。顺治二年(1645),迁国史院学士,不久任《
明史》编修副总裁。顺治五年(1648),升
礼部左侍郎,
丁母忧,奉旨在京
守制。顺治九年(1652),擢升
礼部尚书,侍宴
中和殿,赐貂皮朝衣。顺治十年(1653),因
总兵任珍案,徇私附和,降三级留任。顺治十二年(1655),以疾乞休,
顺治帝慰留之,加
太子太保。
顺治十三年(1656),
副都御史魏裔介、
广东道御史焦毓瑞弹劾胡世安受
大学士陈之遴委托,推荐其同乡安肃令沈令式为
知府,沈令式为人庸劣;不久,
总督李荫祖又弹劾胡世安结党营私,胡世安部议罚俸一年,革去太子太保,降三级任用。顺治十四年(1657),任
经筵讲官。顺治十五年(1658),任
武英殿大学士,兼
兵部尚书。顺治十六年(1659)加
太子太保,不久加
少傅兼
太子太傅。
《
大易则通》十五卷; 闰一卷; 《易史》一卷; 《秀岩集》三十一卷;《操缦录》十卷;《
禊帖综闻》一卷。《寒友编》、《异鱼图赞笺》等集行世。嘉庆《井研县志》卷八有传。
作于顺治八年(1651年)的《九月二十五日朝散同部院诸老登眺新构天安门》,是迄今能见的文学史上第一首吟咏天安门的诗作。胡世安编著的《译峨籁》是
峨眉山最早一部完整详实的志书。