1894年9月，以第3、第5师团为核心组建。指挥官是
山县有朋。当山县登陆朝鲜仁川时，平壤作战已经在
第五师团司令
野津道贯的指挥下进行，因此他将指挥权交给野津，攻占了平壤。同年10月，北进，经朝鲜半岛，到达鸭绿江畔。11月，占领义州，进而入侵满洲里。12月初，山县受召，野津被任命为第一军司令。同月中旬，占领海城。1895年3月，牛庄之战后，他们控制了整个辽东半岛。4月，中日《
马关条约》签订。5月，返回日本。
1904年2月，以近卫
第二师团、
第十二师团为基干编成。军事指挥官是
黑木为桢。同年2月至3月，出击朝鲜，5月，实施渡鸭绿江行动。在
满洲军总部指挥下，参加了8月的辽阳战役、10月的沙河战役、1905年1月的黑沟台战役、3月的奉天战役。同年9月，日俄和约签订后，从11月底至1906年3月，部队陆续回国。
1938年8月31日组建，初期军司令部设在中国保定，后又移至山西太原，长期担任山西占领军。其首任司令官为
香月清司中将，参谋长为
冈部直三郎少将，指挥日军
第六师团、
第十四师团、
第二十师团等部。以后曾任该军司令官的有
梅津美治郎中将、
筱冢义男中将、
岩松义雄中将、澄田四郎等。日军第三十六师团、第三十七师团、第四十一师团、第一一四师团、独立混成第三旅团、第四旅团、第九旅团、第十旅团、第十四旅团、第十六旅团都曾加入过该军的序列。 1945年9月中旬，日军第一军司令官澄田四郎中将率部在中国太原向中国
第二战区司令长官
阎锡山投降。
但是第一军的士兵中，有在战争结束后参加
晋绥军（阎锡山指挥下的国民革命军）而留在中国大陆的。大约七成的残余者在1948年之前回国，有一部分参加了晋绥军和
解放军的战斗。