武德初年,出任中书舍人,典掌机密,以才干见称。配合中书令
萧瑀等撰定律令,著《律议》万余言。迁中书侍郎,赐爵乐平县男。
自隋代以来,每年铨选自十一月开始,至次年春结束;因选限迫促,铨选极不精细。林甫掌选后,加以厘革,四季之中,应选人随到随选,随时注拟官职,甚为方便。此时,全国初定,州府及诏使有赤牒授官者,应选人无须至京师;至此,应选人每年尽集吏部。因铨选精慎、公允,当时人常将其比隋朝时有知人之鉴的吏部侍郎高孝基。
儿子:
刘祥道,吏部侍郎,右丞相;刘应道,尚故闻喜县主李婉顺(隐太子李建成之女)