隋恭帝义宁二年(618年),隋朝灭亡。次年(唐高祖武德二年),
王世充在洛阳废
皇泰主杨侗,自立为
郑国皇帝。以杜淹为
吏部尚书,颇得信任。淹侄如晦为唐皇子
李世民谋士,
杜如晦的哥哥(名不详)和弟弟
杜楚客密谋在洛阳起事,事情泄露,哥哥被
王世充所杀,楚客被关押。
武德七年(624年),
庆州总管
杨文干私运东宫铠甲。事发,唐高祖大怒,囚禁了李建成。
杨文干害怕,举兵谋反,被
李世民平定。事后,在
齐王李元吉的劝说下,高祖释放了李建成,而归罪于杜淹和东宫属官
韦挺,将他们流放到
巂州。
李世民知淹无罪,赠以黄金三百两。
唐太宗贞观元年(627年),杜淹迁
吏部尚书,参议朝政,成为宰相之一。他前后推荐四十余人,后来多为知名官员。
杜淹曾推荐刑部
员外郎郅怀道,太宗问:“郅怀道何如?”淹答:“怀道在隋作吏部主事,有清廉谨慎之名。炀帝三下
江都时,行计已决,公卿都违心赞同巡游。郅怀道官位极卑,独称不可。”太宗问:“卿当时对下江都如何说?”淹答:“臣从行计。”太宗问:“事君之义,有犯无隐。卿称怀道为是,为什么自不正谏?”淹答:“臣当时不居重任,又知就是进谏也必定不从,徒死无益。”太宗问:“孔子称从父之命,未为孝子。故父有争子,国有争臣。若以君主之无道,为什么还做他的官?既食其禄,为什么不匡正他的过失?”
太宗又召淹笑曰:“卿在隋朝,可以说官位小而不言;仕
王世充,为何不极谏?”杜淹回答:“亦有谏,但王世充不从。”太宗说:“
王世充若修德从善,当不灭亡;既然他无道拒谏,卿怎么能免祸?”淹哑然。太宗又问:“卿在今日,为宰相之一,会陈辞极谏吗?”杜淹回答:“臣在今日,必尽死无隐。当年,
百里奚在
虞国时,虞国亡;在
秦国时,秦国霸,臣窃自比之。”太宗笑。当时,淹兼二职,而无清廉之誉,又素与
长孙无忌不睦,时多有非议。