第二师团始建于1873年（明治6年），是日本帝国最早设立的六个镇台之一，称为仙台镇台，1886年改名为第二师团，因其征兵地位于仙台，也被称为仙台师团。第二师团主要下辖第4，16，29，30四个联队（1937年第30联队调出）。曾参与过西南战争、中日甲午战争（日清战争）、日俄战争、九一八事变、侵华战争（中国抗日战争）、太平洋战争等多次战争，是日军中最有战斗力的师团之一。1945年于越南西贡（胡志明市）向盟军投降。

第二师团因为主要征兵地在仙台，又名仙台师团，代字勇（因日俄战争期间在弓长岭进行了一次最大的夜袭而闻名），九一八事变的日军主力，后来在瓜岛被美军打残。

编成时期：1888年5月14日

编成地：仙台（日本）

补给军区：仙台（日本）

二战投降时所在地：西贡（越南） 投降时所属部队：第38军

所属步兵联队

编成时：第4（仙台），第16（新发田），第29（会津若松），第30（高田）

投降时：第4（仙台），第16（新发田），第29（会津若松）

第二师团的前身是仙台镇台（又称东北镇台），而东北镇台是1873年1月设置的，当时的大本营在旧仙台城的二之丸（日本东北大学境内），第二大本营（分部）在青森。甲午战争的时候，第二师团参加了威海卫攻坚战。而日俄战争的时候所属于黑木为桢大将的第一军，转战于九连城、辽阳、沙河以及奉天。1931年夏天被调去满洲驻屯，然而被派去没多久就爆发了九一八事变。作为九一八事变的导火线，第二师团作为主力攻击了东北军在奉天的北大营，之后转战于长春、吉林、齐齐哈尔和哈尔滨。1933年暂时被派回国整编。于1937年4月再次被派往满州，驻屯在以哈尔滨为中心的松花江区域。

七七事变爆发，第二师团的第16步兵联队被抽调出来参加了察哈尔作战和徐州会战。1940年秋天再次回国接受整编和补充新兵，原下辖的第30联队调出并和第3，36联队组建第28师团。另以第二师团留守部队和预备役部队为基础，重建第13师团。在日军中，第二师团和熊本的第六师团一起被认为是战斗力最强的部队。

太平洋战争爆发后，第二师团立即被配属给今村均中将的第16军。在进军南洋前，第二师团进行了改编，原有大部分主力部队被保留和改编成其他部队或留守部队，真正派往南洋的是简编的第二师团，无论是人员和武器装备均不可同日而语，基本上是一个师团架子和大量新兵。此时1942年在日军攻陷爪哇之后，第二师团被命令在当地执行警备和扫荡任务。于是，第二师团被卷进了与其命运相关的所罗门群岛的战役。1942年8月开始的瓜岛攻坚战，才是第二师团恶梦的开始。为了夺下瓜岛的飞机场，作为先遣队，第二师团派出了以步兵第4联队为基干而组成的那须支队(支队长那须弓雄少将)。为了与此相配合，川口支队(支队长川口清健少将，福冈的第35旅团为基础)和那须支队一同在瓜岛登陆。9月2日，第一次瓜岛机场争夺战以日军的失败而告终。10月初，第二师团主力在瓜岛成功登陆，于24日和25日进行了第二次总攻击。然而得到的又是惨败，并且以那须少将为首，步兵第16和29联队两个联队长都战死。雪上加霜的是11月3日，步兵第4联队联队长又战死了。这就意味着在瓜岛的第二师团失去了他们所有的步兵指挥官。再加上食物和弹药的补给已经完全被切断。“瓜”岛变成了“饿”岛(日语中，“瓜”的发音和“饿”的发音相同)，不断有士兵饿死和逃走。日军大本营终于决定中止瓜岛争夺战，1942年下令撤退，而瓜岛的第二师团的残余部队直到1943年2月才全体正式撤离。之后，第二师团在菲律宾被重建。1943年9月开始第二师团被任命担任印度尼西亚、马来西亚和新加坡的警备工作。1944年，第二师团被投入到缅甸战场，驻守仰光。1945年2月，第二师团被英军赶出缅甸，最后在越南西贡向盟军投降。

留守日本的第二师团则集中了原第二师团的精华，随着战争进行，不断扩编新部队投入战争。1943年5月根据军令陆甲第45号令，以留守第二师团的独立步兵62联队为核心，编成第42师团（内辖129、130、158联队，搜索第42联队，野炮兵第12联队，工兵第42联队，辎重兵第42联队，通信队，兵器勤务队，第1-3野战医院，独立战车第5、6中队），在第5方面军编成内，主要负责日本东北地区、北海道和南千岛群岛一带的防务，战争结束时司令部位于北海道的稚内。

1944年4月4日，留守第二师团一部组建第72师团（内辖第134、152、155联队，野炮兵、工兵、辎重兵联队各1，通信队和速射炮队各1），属于第11方面军序列，负责日本本土东北地区防务，战争结束时部署在福岛县。

1945年1月，为应对“本土决战”，大本营对原留守师团进行改变，共编成54个师团。留守第二师团约2万人被编入新建的机动打击第202师团（下辖第504、505、506联队，野炮兵第202联队，迫击第202联队，速射炮队，机关炮队，通信队，兵器勤务队，工兵队，辎重队，第4野战医院等），在第36军编成内，主要部署在关东地区的第二线，是盟军登陆关东地区时的重要反击部队。师团长片仓衷少将。战争结束时位于日本群马县高崎市。

1 佐久间佐马太（1888年5月14日----1895年4月5日）

2 乃木希典（1895年4月5日----1896年10月14日）

3 西宽二郎（1896年10月14日----1904年9月8日）

4 西岛助义（1904年9月8日----1906年7月6日）

5 松永正敏（1906年7月6日----1912年2月27日）

6 仁田原重行（1912年2月27日----1915年2月15日）

7 南部辰内（1915年2月15日----1916年8月18日）

8 河内礼藏（1916年8月18日----1919年7月25日）

9 中岛正武（1919年7月25日----1922年2月8日）

10 长坂研介（1922年2月8日----1926年3月2日）

11 井上一次（1926年3月2日----1927年7月26日）

12赤井春海（1927年7月26日----1930年12月22日）

13 多门二郎（1930年12月22日----1933年8月1日）

14 东久迩稔彦（1933年8月1日----1934年8月1日）

15 秦真次（1934年8月1日----1935年8月1日）

16 梅津美治郎（1935年8月1日----1936年3月23日）

17 冈村宁次（1936年3月23日----1938年6月23日）

18 安井藤治（1938年6月23日----1939年11月6日）

19 吉本贞一（1939年11月6日----1941年4月10日）

20 丸山政男（1941年4月10日----1943年6月10日）

21 冈崎清三郎（1943年6月10日----1945年3月1日）

22 马奈木敬信（1945年3月1日----1945年8月15日）