《汉书·百官公卿表》说：“仆射，秦官。自侍中、尚书、博士、郎皆有。古者重武官，有主射以督客之”也就是说，仆射本意就是领事，汉代的侍中、上述、博士、郎都有仆射，被指定为仆射的，就负责本部门的事务。后来其他仆射的名称逐渐不用，变为专官。
汉武帝至元帝时，兼用士人与宦官为仆射，
宣帝时，宦官
弘恭为中尚书令，宦官
石显为仆射；元帝时石显为令，
牢梁为仆射。均专权用事。至成帝时，罢宦官专用士人，置尚书五人，以一人为仆射。仆射“掌授廪、假、钱、谷”。大约当时尚书的机构较为简单，所以仆射主管具体事务较多。东汉时，尚书台称为“
中台”，主管全国机要政务，组织扩大，仆射与尚书令同为台中长官，与六曹尚书台合称八座，台中具体事务遂移归
尚书左右丞及诸曹尚书侍郎。
仆射初置一人，至
汉献帝建安四年（公元199年）始分置左右仆射。自此以后，或二或一，置二人则分左右。左右仆射分领尚书诸曹，左仆射又有纠弹百官之权，权力大于右仆射。
尚书令阙，则左右仆射为省主。三国时，魏置尚书仆射二人秩第三品，蜀、吴但称仆射，不分左右。晋至南北朝，仆射设置无定制，置二，则为左右仆射，置一，则称仆射；尚书领缺，则左右仆射主持省事。南朝宋时左仆射领殿中、主客二曹，右仆射与祠部通职，若置右仆射，则无祠部，反之亦同。在此时期，仆射虽为令的副职，但与令的地位不相上下，所以当时令仆并称，令、仆，尚书令称为“朝端”或“端右”，而仆射则号称“端副”。例如东晋
谢安、北魏
李冲、
北齐杨等都是以仆射
分掌或专掌朝政。但自魏晋至南北朝，仆射之上还有
录尚书事、尚书令，至陈时，因其权重，此二职已基本不置，仆射的权力独重。
隋文帝时，废录尚书事，尚书令虽置而常缺。于是
尚书左仆射成为朝廷首相。
高颎为左仆射达十九年，
杨素为右仆射，与高颎共掌朝政。杨素代高颎为左仆射后，隋文帝以其权重，对之疑忌，命他三五日一至
尚书省评论大事，表面对他体恤和尊崇，实则削夺他的权力。
隋炀帝时，杨素进位
尚书令，实不问事；杨素死后，尚书令位阙。大业三年
苏威被罢官后，
尚书仆射也不再补授。唐初，大抵继承
隋文帝时制度，尚书省置令而虚其位，仆射总领省事，与
中书令、侍中同掌相权，而左仆射为首相。
房玄龄为左仆射前后达二十年，号称贤相。但唐太宗李世民也曾以仆射当求访贤才为理由，命令尚书省细务悉由左右丞处理，有冤滥大故才呈报仆射，这就限制了仆射全面综理政务的权力。贞观二十三年（公元649年）唐高宗
李治即位后，李绩为左仆射复加
同中书门下三品的称号，自此，仆射入
政事堂议事，就例加此号，表明仆射已不是当然宰相。中宗、
睿宗时，还有不加同中书门下三品、也不参加议政的仆射，
唐玄宗以后，仆射不再加此号。从此仆射就排除于宰相行列之外。
五代至宋代沿袭唐代后期之制。
北宋神宗元丰五年（公元1082年）
改革官制，以左仆射兼
门下侍郎，右仆射兼
中书侍郎，均为宰相。徽宗时又改宰相为
太宰、
少宰。钦宗靖康元年（公元1126年）复名左右仆射，
南宋孝宗乾道八年（公元1172年）又改名为左右丞相，此后，不再有仆射之名。