桓荣是
齐桓公的后代，其祖先迁居
龙亢县，到桓荣这里已有六代。桓荣少年时在长安学习《
欧阳尚书》，拜
九江郡人朱普为师，他家中贫困，常靠佣工养活自己，精力不倦，十五年没有回家探视，到权臣
王莽篡位时才回去。恰逢朱普去世，桓荣到九江郡奔丧，自己背着土为老师筑坟，于是留下来教学，徒众达几百人。
地皇四年（23年），
新莽灭亡，当时天下大乱，桓荣抱着经书与学生一道逃入山谷之中，虽然常饥饿，但讲经论卷不止，后来又在
江淮一带教学。
建武十九年（43年），已经六十多岁的桓荣终于得到
大司徒府的
征辟。当时
东海王刘庄刚被立为太子，光武帝
刘秀选求通晓经籍之人，于是提升桓荣的学生豫章人
何汤任
虎贲中郎将，用《尚书》教太子。刘秀从容问何汤的老师是谁，何汤答道：“沛国桓荣。”刘秀即召桓荣，命他讲解《尚书》，刘秀觉得他说的很好。便授任桓荣为
议郎，赐钱十万，让他入宫教太子。每到朝会时，常让桓荣在公卿面前讲解经书。刘秀称赞道：“得到先生太晚了！”恰逢《
欧阳尚书》博士出缺，刘秀想任用桓荣。桓荣叩头辞让道：“臣经术浅薄，不及同门生郎中彭闳、扬州从事皋弘。”刘秀说：“好，去吧，你能胜任。”于是拜桓荣为
博士，引荐彭闳、皋弘任议郎。刘秀
车驾到了太
学时，正逢诸位博士讨论问题，桓荣穿着儒生衣服，温良恭敬，宽博有余，辩明经义，每以礼让相服，不用言词胜人，众儒生谁也不及他，刘秀特加赏赐。刘秀又命
诸生雅吹
击磬，一整天才结束。后来桓荣进入会庭中，刘秀下诏赐众人奇果，受果的人都将果纳入怀中，只有桓荣举手捧着果物拜谢。刘秀指着他笑着说：“这人是真正的儒生呀！”从此更受敬重，常叫他住宿在太子宫中。五年后，桓荣推荐门生九江人胡宪作
侍讲，自己只是听听，每天早晨进一次宫罢了。桓荣曾经生病，太子刘庄早晚派中傅问病，赐给他珍馐、帷帐、奴婢等，并且说：“如果有什么三长两短，不必为家室担忧。”后来桓荣病愈了，又进宫侍讲。
建武二十八年（52年），刘秀任命博士张佚为
太子太傅，而任命桓荣为
少傅，赐给他
辎车、
乘马。桓荣大会诸生，陈列出车马、印绶说：“今日蒙陛下所赐，这是
稽考古书的力量，可不勉励吗？”
桓荣认为太子的经学已经完成，便上疏
陈谢说：“臣有幸得在帷幄，讲经几年，但智学浅短，无以补益万分。现在皇太子凭着聪明的资质，通明经义，观览古今，没有哪位太子能专精博学像这样的。这真是国家的福祐，天下的幸运。臣师道已尽，其他都在太子。谨使掾臣汜再拜回家。”刘庄复信道：“我以幼稚愚昧，学道九年，无所晓识。《
五经》这么广大，
圣言幽道，不是天下最聪明的人，怎么能精通得了！何况不才如我，敢承教诲面命。从前的先师感谢弟子的有人了，上则通达经旨，弄明章句，下则去家慕乡，求谢师门。现在蒙受下列，不敢有辞，愿您养病加餐，重爱玉体。”
中元二年（57年），刘庄即位为帝，即汉明帝。明帝尊桓荣以师礼，他很受亲近和尊重，明帝又授任桓荣二子为
郎。当时桓荣年过八十，自认为已经年迈多病，几次上书请求辞职，每次明帝都多加赏赐。明帝曾经坐车到太常府，让桓荣坐在东面，设置
几杖，集合骠骑将军、东平王
刘苍以下百官和桓荣的学生数百人，明帝亲自
执业，每次开口就说：“大师在这里。”礼毕，把
太官供具全部赐给桓荣家。他受到的
恩礼就是这样。
永平二年（59年），
三雍（
明堂、灵台、
辟雍）建成，明帝授桓荣为
五更。每次举行
大射、
养老礼毕，明帝就引桓荣和弟子升堂，自己执经书讲说。又封桓荣为
关内侯，
食邑五千户。
桓荣每次生病，明帝就派使者慰问，太官、太医络绎不绝。后来桓荣病重，上疏谢恩，让还爵土。明帝亲自到他家问安，入街下车，捧着经书上前，抚摸着桓荣，流着眼泪，赐给他订床茵、
帷帐、刀剑、
衣被，好久才走开。从此诸侯将军大夫来看望的，不敢再乘车到门口，都拜倒在床下。桓荣死后，明帝亲自为他
变服，临丧送葬，在首阳山之南赐桓荣
冢茔。除任桓荣兄的侄子二人补
四百石官职，
都讲生八人补二百石官职，其余门徒多数做到公卿，他的弟子中以
丁鸿成就最高。
桓荣最初遇难时，与族人桓元卿一同挨饿，可桓荣仍讲诵经书不止。桓元卿嗤笑他说：“只是自苦气力，什么时候又会施用呢？”桓荣笑而不应。等到桓荣担任太常，桓元卿叹道：“我是农家出身的人，没想到学问竟这样有用。”
龙亢镇现存“桓傅故里”坊，高5米、宽4米，上镶有砖刻阳文“桓傅故里”四字，每字一尺见方，明万历四年（1576年）重建，清道光二十九年（1849年）重修。