巢尚之，
鲁郡（山东省
曲阜市）人，出身极其寒微。
元嘉年间，可能是以门客或者普通书生之类的身份，进入始兴王府，侍奉始兴王
刘浚读书。因为他十分通晓文史知识，被孝武帝
刘骏知晓和赏识。
孝建初年（454年），孝武帝任命巢尚之担任东海国侍郎，仍兼中书通事舍人。当时，孝武帝为巩固和加强皇权，抑制士家大族在朝中的影响，开始以中书通事舍人处理中枢机要事务，凡是对官吏的选拔、调动、诛罚、赏赐等重大处置，孝武帝都要和包括巢尚之在内的中书通事舍人商议再作决定。由高门士族担任的中书令、尚书令等高级职位只剩下在公文上签名认可的权力，大权被完全架空。当时，孝武帝对臣下十分严厉苛刻，且容易发火，有时因臣子没做好一点事，就会严厉怒斥和怪罪，甚至一时气急败坏，想要杀没把事办好的官员。而巢尚之每当遇到这种情况就会及时在孝武帝面前止火，进行劝谏，给那些获罪的官员们开脱，而且往往最后都能被孝武帝接受，使他们大多都得以幸免，很多官员都多亏了他（也有人认为这可能是
孝武帝和巢尚之两人一唱一和的政治表演，以达到威服朝堂的目的）。大明六年（462年），
祖冲之把精心编成的《
大明历》送给
孝武帝请求公布实行。次年，孝武帝命令懂得历法的官员对这部历法的优劣进行讨论。在讨论过程中，祖冲之遭到了以
戴法兴为代表的大臣反对，当时朝中很多人畏惧戴法兴的权势，几乎都站在戴法兴的一边反对施行新历。只有巢尚之力挺
祖冲之，坚持认为应该施行祖冲之新编的《大明历》，加上祖冲之本人的据理力争，孝武帝最终支持祖冲之，决定于大明九年（465年）改行新历，但是还未等到施用，孝武帝便驾崩。
大明八年（464年），孝武帝病逝，
宋前废帝刘子业即位。巢尚之和戴法兴等因掌权日久，威势风行朝廷内外。当时百姓想为孝武帝立寺，但寺名定不下来。巢尚之应声回答说：“应该叫‘天保’。《诗经》上说：‘天保，下报上也。’”时人都很佩服他的机敏。之后，巢尚之先被调为新安王
刘子鸾的抚军中兵参军、淮陵太守。不久，前废帝赐死
戴法兴，给巢尚之的敕书说：“我继承大业，君统万国，对功臣推心置腹，远近人都知道，没想到戴法兴倚仗宠待，背负皇恩，作威作福，犯法贪污，生杀予夺，恶贯满盈，到这步田地。你们对于本职工作忠诚勤勉，我都知道，但是道听途说，纷纷纭纭，不只人心恐惧，而且天象反常，我委托的本意大大的违背了，我如今亲自掌管大权，留心杂事。你们应该竭心尽智，以让我满意。”不久，前废帝也解除了巢尚之的中书通事舍人之职，把他转为抚军谘议参军、淮陵太守。
泰始初年（465年），
宋明帝即位，宋明帝再以巢尚之重新兼任中书通事舍人、南清河太守。
泰始二年（466年），迁中书侍郎，太守如故。还未拜官，就改任他为前军将军，太守照旧，在东宫侍候太子。晋安王
刘子勋之乱被平定后，巢尚之又作为军人守卫辖地，封爵邵陵县男，食邑四百户，他坚决辞退不接收。曾于
泰始三年（467年），奉诏与
淮南太守
孙奉伯等编次二王法书。不久，明帝再转任他为黄门侍郎，外出当新安太守。泰始七年（471年），巢尚之期满离任回京城述职，面见皇帝，不久病逝。
起初，孝武帝以当时并不出名的寒门人士巢尚之为中书通事舍人，江夏王刘义恭认为选用不当。于是孝武帝便派巢尚之给尚书呈上了四十多份文牒，并宣布敕令让他们论辩，刘义恭于是叹息说：“皇上果然是很了解人啊。”