西
汉武帝刘彻于
建元二年（前139）罢
太尉，
元狩四年（前119）始置
大司马，加于大将军、
骠骑将军、
车骑将军、
卫将军号前，“
武昭以后，大将军无不加大司马者。车骑、票骑、卫将军或加或不加。它将军无加大司马者” 。其中大将军、骠骑将军位次
丞相，车骑、卫将军位次
上卿（《百官志一》）。冠加大司马后，其位秩不变，
大司马大将军（
大司马骠骑将军）尊比丞相，
大司马车骑将军（大司马卫将军）贵比上卿。
大将军、
骠骑、车骑、卫将军因为有了大司马这一加官称号，使其拥有辅政之权，得以名正言顺地管理日常的军事行政事务，居此位者由
军队的最高将领一变而为
文职的宰辅之官，大司马卫将军尽管位在
丞相下，但实权则在丞相之上。
汉成帝末，确立了
三公制。
大司马后面不再联以将军之号，和丞相、
大司空并列为三公。三公为
皇帝的三个最高辅政之臣，但仍以大司马居首位。掌权重臣如
王凤、
董贤、
王莽等，
东汉三国时的
李傕等，职位都为大司马。
《
汉书·佞幸传》卷九十三.佞幸传第六十三：“
董贤字圣卿，
云阳人也。......遂以贤（董贤）代明（丁明）为大司马卫将军。册曰：“朕承天序，惟稽古建尔于公，以为汉辅。往悉尔心，统辟元戎，折冲绥远，匡正庶事，允执其中。天下之众，受制于朕，以将为命，以兵为威，可不慎与！” 是时，贤年二十二，虽为
三公，常
给事中，领
尚书，百官因贤奏事。《
汉书》新注卷五十九.
张汤传第二十九：“安世（
张安世）深辞弗能得。后数日，竟拜为
大司马车骑将军，
领尚书事。数月，罢车骑将军屯兵，更为卫将军，两宫
卫尉，城门、
北军兵属焉。”