少孤而贫，好学善属文。有宗人欲以高廕相假者，怀远竟拒之，退而叹曰：“因人之势，高士不为；假廕求官，岂吾本志？”未几，应四科举擢第，累除司礼少卿。出为邢州刺史，以其本乡，固辞不就，改授冀州刺史。俄历扬、益等州大都督府长史，未行，又授同州刺史。在职以清简称。入为太子左庶子，兼太子宾客，历迁右散骑常侍、春官侍郎。大足年，迁鸾台侍郎，寻同凤阁鸾台平章事。岁余，加银青光禄大夫，拜秋官尚书，兼检校太子左庶子，赐爵平乡县男。长安四年，以老辞职，听解秋官尚书，正除太子左庶子，寻授太子宾客。神龙初，除左散骑常侍、兵部尚书、同中书门下三品，加金紫光禄大夫，进封赵郡公，特赐实封三百户。俄以疾请致仕，许之。中宗将幸京师，又令以本官知东都留守。
虽久居荣位，而弥尚简率，园林宅室，无所改作。常乘款段马，左仆射豆卢钦望谓曰：“公荣贵如此，何不买骏马乘之？”答曰：“此马幸免惊蹶，无假别求。”闻者莫不叹美。神龙二年八月卒，唐中宗特赐锦被以充敛，辍朝一日，亲为文以祭之，赠侍中，谥曰成。
鸾台侍郎，进
同凤阁鸾台平章事，封平乡县男。以左散骑常侍
同中书门下三品，爵赵郡公，赐实封户三百。以老，听致仕。中宗还京师，召知
东都留守，复加同中书门下三品。