仪凤二年（677年），朝廷选举贤良，裴怀古上书言政，被
唐高宗权授为
同州下邽县主簿，不久迁授济州录事参军，以
丁忧去职。三年后调选授
雍州栎阳县尉，任满转任
洛州来庭县主簿，升
监察御史、殿中侍御史、内供奉。当时姚州、
巂州的蛮人首领反叛，诏怀古前往招抚。裴怀古赏罚分明，叛军纷纷归降，最终俘虏了叛军首领，安置群蛮三万户，蛮人感恩，为他立碑颂德。
恒州鹿泉寺僧净满被其弟子诬告在高楼中用弓箭射一副女人画像，说他在诅咒
武则天，大逆不道。武则天派裴怀古前往捉拿诛杀，裴怀古详细询问内情后，将僧净满释放，并上表解释。武则天大怒，经过裴怀古劝谏，才消除怒气。
圣历元年（697年），
突厥默啜可汗请求
和亲。武则天派右豹韬卫大将军
阎知微为主要使者，裴怀古监军，陪同淮阳郡王
武延秀前往突厥，迎娶默啜之女为妃。默啜借口以武延秀非唐室诸王，将他囚禁，胁迫立阎知微为南面可汗，又想封裴怀古为伪官，怀古不接受，默啜要杀他，怀古抗争道：“宁守忠以就死，不毁节以求生，请斩首吧，我不会避开！”。于是被囚禁在军中。突厥军入侵妫、檀等州时，趁机逃回长安，授
朝请大夫、拜
祠部员外郎。姚州、巂州的酋长们上京觐见武则天，称赞裴怀古的德政，请求让他担任州牧，于是授予他姚州都督，但因病未能就职，转任尚书主爵郎中。时始安县贼寇欧阳倩聚众数万，剽陷州县。宰相
朱敬则推荐裴怀古前往平叛，被任命为检校桂、田等三十二州诸军事、
桂州都督，持节招慰讨击。到桂林后，发布告示招降，示以祸福，叛军前往归降，申诉被官吏逼破才不得已起兵造反。裴怀古相信了他们，于是只带少数亲信就到他们营寨慰谕。群贼喜悦，归公其所抢掠的财货，岭南诸洞酋长也纷纷出来拥护唐军。此后裴怀古历任
潭州都督、
相州刺史，征拜为右羽林将军，封闻喜县开国公。
景云元年（710年），裴怀古任
汝州刺史，不久转任并州大都督长史，进封
河东郡开国公，所至之处深受官民爱戴。朝廷召回他任右羽林军大将军，不久复以本官兼任并州长史。官民听闻裴怀古回来，老幼相携，至郊野欢迎。时崔宣道代怀古为并州长史，也到野外迎接他，怀古不想让崔宣道感到难堪，就派人驱逐出迎之人，可是来的人就更多了，可见他受百姓爱戴之深。不久转任使持节都督幽州诸军事、
幽州刺史、安东都护、持节镇守经略大使。
延和元年（712年），裴怀古回京任左威卫大将军、左羽林军上下。八月，
唐玄宗即位，改元先天，十一月三日，裴怀古在
长安布政里私第去世，年七十五。赠使持节都督兖州诸军事、兖州刺史。先天二年三月二十二日葬于洛州
河阳县岭山之北原。