卫臻的父亲卫兹，节操高尚，曾拒绝三公的征召。曹操初次到陈留，卫兹就说：“平天下者，必是此人。”曹操也觉得卫兹很奇特，好几次去他那里商议大事。后来，卫兹跟随曹操讨伐董卓，战死在荥阳。曹操每次路过陈留，必定派使者前去祭扫他的陵墓。
夏侯惇当陈留太守的时候，举荐卫臻担任计吏，并带着夫人出席宴请，卫臻认为这是末世才有的败俗之举，不合正礼。夏侯惇大怒，把他抓了起来，没过多久又把他放了。
以后卫臻做了汉朝的黄门侍郎。东郡
朱越谋反，供认卫臻参与其事。曹操下令说：“我和你父共同举事，对你格外提拔重用。开始听到朱越的供词说，我就丝毫不相信，等收到
荀令君的书信，那上面把你的忠诚写得更明白了。”值曹操奉诏为献帝到魏聘取贵人，他借此上表让卫臻留下来担任参丞相军事。为追念其父卫兹的功勋，又赐封卫臻为关内侯，转任户曹掾。
公元220年（延康元年），曹丕继任魏王后，被任命为
散骑常侍；称帝后，又被封为安国亭侯。那时候群臣异口同声颂扬魏国的功德，好多人贬毁攻击前朝，惟独卫臻深明禅让相授的礼义，称赞汉室的美德。曹丕几次看着卫臻说：“天下的珍宝，应该和山阳共同享用。”于是升卫臻为尚书，转侍中、吏部尚书。
公元224年（黄初五年），曹丕出巡到广陵，让卫臻做
中领军，陪同前往。征东大将军
曹休给曹丕送来表章，说得到了吴军降将的口供，称“孙权已经来到
濡须口”。卫臻说：“孙权虽然有长江作依靠，却也不敢和我军抗衡，这一定是敌军因害怕而散布的谣言。”待详细审问降将后，才知道果然是吴军守将制造的谎言。
魏明帝曹叡即位，卫臻被晋封为康乡侯，后转为右仆射，主管选拔举荐人才，仍像从前一样加封为侍中，封康乡侯。后来转任尚书右仆射，掌选举事，亦加侍中。中护军蒋济曾写信给卫臻说：“
汉高祖拜亡虏
韩信为大将，周武王提渔父
姜尚为太师，出身微贱的寻常百姓，包括那些喂马的、做饭的，都可以当上王公大臣，何必一定要墨守成法，先考试然后再任用呢？”卫臻回答：“古人凭借智慧量才而用，也必须经过考核实绩才能决定罢免还是升迁；如今你说的就如同要求周朝的成王、康王战于牧野，汉代的文帝、景帝斩断白蛇，这种喜好不合常理的行为一旦开了先河，天下人就会趋赴而至了。”
公元228年（太和二年），蜀汉丞相诸葛亮发动诸葛亮北伐，卫臻建议遗兵入散关捣截蜀军的运粮道路，明帝采纳并任命他为征蜀将军，假节督诸军事，到长安时诸葛亮撤退。回朝复职，并加光禄大夫。
当时，曹叡大兴土木，卫臻好几次恳切地规劝。等到殿中监擅自拘留了兰台令史，卫臻又把这事报告了曹叡。曹叡下诏说：“宫殿盖不成，我已经收心了，你怎么又管起这事来了呢？”卫臻上疏说：“古代制定处理官员的法规，并不是因为针对他们办事不勤勉，而是因为他们办的事情收益小而害处大。臣每天观察这类事情，大多如此。因此，我恐怕将来各职司会逐渐越职，以至犯了大罪。”诸葛亮又出兵斜谷，曹魏同时还接到报告说：“吴国的朱然也领兵过了荆城开始南征。”卫臻说：“
朱然是东吴的一员猛将，孙权这次只不过作出南征的样子，做做幌子罢了。”没过多久，孙权果然召朱然进驻居巢，然后进攻合肥。
公元234年（青龙二年），诸葛亮发动第五次北伐，并与东吴一同出兵。孙权进攻合肥，曹叡打算亲征孙权，卫臻说：“孙权外表上响应诸葛亮，其实内心只是想在一旁观望。况且合肥城池坚固，不足为虑。陛下用不着御驾亲征，也好节省大军出征的费用。”但曹叡还是坚持出征，到寻阳时，孙权因受到了张颖等守将的抵抗及疾病而退兵。
幽州刺史
毌丘俭上疏曹叡说：“陛下即位以来，没有做出得以书写记载的业绩。眼下吴、蜀倚仗地势险要，也不是短时间就能平定的，不如姑且用国中闲置的兵力，前去克定辽东。”卫臻对曹叡说：“毌丘俭所说的都是战国时代使用的琐屑的计谋，并非成王业者应该做的大事。东吴连年举兵，进犯边境，而我国仍旧按兵不动，休养将士，没有寻找机会讨伐他，实在是因为老百姓疲惫劳累的缘故。况且辽东的头领公孙渊从小生长在海上，对辽东的统治已经沿续了三代，他们对外安抚胡人，对内整修武备习练战阵，而毌丘俭却想用一部分军队长驱直入，一蹴而就，他的设想太狂妄了。”以后毌丘俭草率出兵果然失利。
公元237年（景初元年），卫臻迁任司空，后任司徒。
正始年间，进爵
长垣侯，并封一子列侯。后来卫臻多次请辞，获赐宅，位特进，秩如三司。死后追赠太尉，谥号敬侯。
卫臻不爱加入朋党，如当日曹操未选继任人时，支持曹植的
丁仪邀请卫臻与他们结交，卫臻则以大义拒绝。齐王
曹芳时，
曹爽专政，派
夏侯玄劝请卫臻入守尚书令和为弟求婚，但卫臻都一一拒绝。
陈寿：“陈、徐、卫、卢，久居斯位，矫、宣刚断骨鲠，臻、毓规鉴清理，咸不忝厥职云。”