徐羡之早年在
桓楚就担任过荆州
桓修的中兵参军,当时
刘裕同为桓脩中兵参军,故此两人深深结交。元兴三年(404年),刘裕起兵讨伐
桓玄,并攻下
建康,即以
徐羡之为镇军参军、尚书库部郎、领军司马。后调为
大司马司马德文的参军、
司徒左西属、徐州别驾从事史、太尉咨议参军。
义熙十一年(415年),外调为鹰扬将军、琅邪内史,后再任司马德文的大司马从事中郎。次年,刘裕北伐后秦,徐羡之就转任太尉
左司马,留守建康留府,并担任总摄内外的
尚书左仆射刘穆之的副手。义熙十三年(417年),刘穆之去世,朝廷原本就打算下诏命徐羡之接替刘穆之的位置,然而
张邵则主张咨询尚在
长安的刘裕。刘裕在意
王弘,不过谢晦却说:“王休元为人轻率,及不上羡之。”刘裕于是同意由徐羡之代替刘穆之。徐羡之因而获授吏部尚书、建威将军、丹杨尹,总知留任,然而向来由刘穆之决定的各项朝廷大事都得向刘裕请示了。后转任
尚书仆射。
永初元年(420年),刘裕篡位称帝,进号为镇军将军,加
散骑常侍,并以其作为开国元勋,封为南昌县公,食邑二千户。
永初三年(422年),徐羡之进位司空、
录尚书事,仍兼扬州刺史。同年刘裕去世,遗诏徐羡之与
中书令傅亮、
领军将军谢晦及镇北将军
檀道济为顾命大臣,辅助太子
刘义符,即宋少帝。不过,
刘义符居丧无礼,又与身边的人游戏无道,徐羡之于是与傅亮、谢晦密谋废黜刘义符。不过,如果废掉刘义符,继位的首选自当是刘裕次子、南豫州刺史
刘义真,而徐羡之一直讨厌刘义真与
谢灵运等人密切交往,而且自己又屡次裁抑刘义真的要求,导致刘义真对自己颇有不满。
景平二年(424年),徐羡之以刘义真与刘义符有过节,列出刘义真的罪状,将其废为庶人,流放到
新安郡。
张约之为此上书反对,就遭徐羡之外调为梁州府参军,不久亦为其所杀;而刘义真不久亦在新安遭徐羡之派去的人杀害。
同年,徐羡之召江州刺史王弘及南兖州刺史檀道济入京,将废黜皇帝的意图告知他们,随后就以太后的名义下令废黜刘义符为营阳王,以中书舍人邢安泰及潘盛为内应调走宫中宿卫,亲自领兵跟从
檀道济及谢晦所率的军队入宫请刘义符逊位及没收其皇帝玺绶,更将其送到
吴郡。不久,徐羡之更派了邢安泰杀了刘义符。当时,侍中程道惠建议立刘裕五子
刘义恭为帝,但徐羡之以刘裕三子
刘义隆向来有名望,于是决意以其继位。当时,刘义隆担任荆州刺史,徐羡之怕荆州重地会因而外授他人,于是命谢晦为荆州刺史,图以其为外援。刘义隆即位后,进徐羡之为司徒,并改封南平郡公,食邑四千户,不过徐羡之坚决辞让封爵。
元嘉二年(425年),徐羡之与傅亮三度上书请求归政,终获批准,并离职退归府第,但侄儿
徐佩之与程道养及
王韶之都认为这样并不恰当,苦劝之下终令徐羡之继续留掌朝事。时步兵校尉
孔甯子厌恶徐羡之及傅亮专权,经常向刘义隆中伤二人。
元嘉三年(426年),
刘义隆以废杀
宋少帝及
刘义真的罪名下诏将徐羡之、傅亮、谢晦等治罪,并召见徐羡之及傅亮。当时徐羡之走到西明门外,谢晦弟谢皭将刘义隆要降罪他们消息告知
傅亮,傅亮于是立即告诉徐羡之。徐羡之及后回到台城以西的扬州治所,接着坐车出城,走到建康二十里外的新林浦时在一个烧陶的
土窑中自杀,享年六十三岁。
其时
刘义隆知徐羡之没有应召入宫,便派了中领军
到彦之及右卫将军王华追捕他,直至有人发现徐羡之的尸体后才将其送到
廷尉那里。
王华:“徐羡之中才寒士,傅亮布衣诸生,非有晋宣帝、王大将军之心明矣;受寄崇重,未容遽敢背德。”
裴子野:“如徐、傅之徒,非觊觎者也;求其忠顺,非忘身者也。身既未忘,不能脱屣权柄,诚二君矣。何以取信严君,恶不足信,权由震主,危己之机,疾于激箭,高位厚味,何其久乎!若景平既终,奉身夙退,灭身之祸,庶几可逃。夫贤人君子,受六尺之孤;任尺寸之命,推权变,临大节,系乎存存,难乎存亡矣。”
徐羡之出身寒微,本身亦没什么学识,一直只凭自己的才智气度,终在
刘裕在位年间攀上了司空高位,掌握朝权,成了实际的宰相,而当时朝野对徐羡之亦很信服。而徐羡之为人亦深沉慎默,沉默寡言,且喜怒不形于色。
徐羡之颇擅长
围棋,但看棋时即使已洞察棋局,却仍然表现得未看透的样子,当时的人更以此推崇他。