法国军队曾规定，骑士如果在战斗中失去马匹，则暂归步兵指挥，执行步兵勤务，但仍保留他们的骑士称号和薪饷，并免干粗活。后来，把此类“免除了列兵某些职责”的人称为上等兵。
17世纪初，德国将上等兵作为军衔的一级，设置于连队，授予有经验而可靠的士兵，赋予他们负责哨兵派班、押解俘虏等任务；班长缺勤时，可代理班长工作。1716年，彼得一世将上等兵的军衔引进俄国，陆军条令规定，在步兵、骑兵、工兵中设置，授予屡建战功或长期服役无瑕的士兵。1722年的《官级表》规定，在陆军中设上等兵、上等炮手，海军中设上等水兵，排序为第18官级。清末，军衔制引入中国后，命名最高的一级士兵军衔为“正兵”。辛亥革命后，南京临时政府在《陆军官佐士兵阶级表》中，将其命名为上等兵。之后被历届政府沿用。中华人民共和国实行的军衔制，均设有上等兵军衔。2010年7月公布的《中国人民解放军现役士兵服役条例》规定，服现役第二年的列兵，晋升为上等兵军衔；服现役第一年的列兵被任命为班长职务的，晋升为上等兵军衔。世界上大多数国家设有此衔，有的国家还将上等兵分2～3级。
2022年2月28日第十三届全国人民代表大会常务委员会第三十三次会议通过
全国人民代表大会常务委员会关于中国人民解放军现役士兵衔级制度的决定，义务兵军衔由高至低分为上等兵、
列兵。