初以父亲的功劳封宜阳县开国侯,历次升迁,官拜
辅国将军、吴国内史。
隆安三年(399年),
孙恩率众进攻下
会稽,并杀太守
王凝之,三吴诸郡都有人起兵响应孙恩。桓谦闻乱,出奔无锡(今江苏无锡)。后桓谦获征召,入朝担任
尚书,不久又先后转任骠骑大将军
司马元显的咨议参军及司马。
元兴元年(402年),司马元显要讨伐荆州
刺史桓玄,司马元显心腹
张法顺认为桓谦是桓玄在朝中的的耳目,应该除去,又建议命令
刘牢之去下手,以测试其忠心。但司马元显不听从,反而想借助桓谦父
桓冲在荆州的威望去安抚荆州人众,于是调桓谦为都督荆益宁梁四州诸军事、西中郎将、荆州刺史。
同年五月,桓玄败亡,江陵亦被晋军收复,桓谦藏匿在沮中。不久,
桓振袭取江陵,桓谦亦召集部众响应,至闰五月己丑日(6月26日)重夺江陵,并俘掳仍在江陵的
晋安帝。当时桓振打算杀害晋安帝,在桓谦竭力劝止下,终保存了晋安帝的性命,又与江陵群臣奉还
玉玺给晋安帝(桓谦等帅群臣奉玺绶于帝曰:“主上法尧禅舜,今楚祚不终,百姓之心复归于晋矣。(资治通卷第一百一十三 晋纪 三十五)。
桓谦于是复任侍中、卫将军,加江、豫二州刺史。桓振夺取江陵后纵情酒色,肆意诛杀,当时桓谦劝桓振率兵出战,自己留守江陵,但因桓振向来轻视桓谦而没有听从。
义熙元年(405年),晋军反攻江陵,桓振留桓谦及
冯该守江陵,亲自率兵进攻南阳太守
鲁宗之,但当时刘毅已于江陵城外二十里的豫章口击败冯该,桓谦于是弃城出逃,刘毅于是成功收复江陵,桓振见此亦自溃。桓谦与桓怡、桓蔚、何澹之及温楷等人于是投奔
后秦。
义熙三年(407年),西蜀君主
谯纵向后秦称藩,后更上表以讨伐刘裕为名向后秦借兵,又求后秦派桓谦入蜀协助。当时后秦天王
姚兴就特别问桓谦意见,桓谦同意入蜀,然而
姚兴却说:“小水池容不下大鱼,若果谯纵的力量可以成事,也就不必请你去协助他了。你最好还是自求多福吧。”桓谦到成都后虚心招引蜀地士人,终惹来谯纵怀疑,安置于龙格(今四川
双流县),并命人监视他。
义熙六年(410年),当时东晋正在镇压
卢循的叛乱,谯纵于是趁机向后秦请兵进伐东晋,桓谦于是获
谯纵任命为荆州刺史,与
谯道福共率二万进攻东晋荆州。桓谦在道上招集当地支持桓氏的民众,又招得了二万人,并屯驻于
枝江县(今湖北枝江西南),一度威胁江陵,江陵人民甚至向桓谦报告城内状况。东晋荆州刺史
刘道规决定水陆并进,进攻桓谦;桓谦以水军配以步骑兵与刘道规决战,但桓谦最终战败,想要投靠前来助攻的后秦前将军
苟林,但被追击的刘道规所杀。