1937年12月24日，在中共胶东特委领导下，以昆嵛山游击队为骨干，在文登县东郊的天福山举行抗日武装起义，即“天福山起义”。起义武装组成了山东人民抗日救国军第三军。1938年1月，成立了山东人民抗日救国军第三军军政委员会，理琪任主席。同年3月，第三军辖一、二、三、五、八、九、四十一等8个大队和特务大队及第二路军。5月，第三军各部队统一编为第一、二、三、四路军；8月，第三军各路军与胶东抗日游击队第三支队合编为4个团，仍用第三军番号。9月18日，三军改番号为八路军山东人民抗日游击队第五支队。1940年9月，五支队改称八路军山东纵队第五旅。1945年8月，胶东军区奉命将所属部队进行扩编，组建第五、第六师。第五师，以原五旅组成师机关。1945年9月，胶东军区抽调主力部队和一部分地方干部支援东北战区。第五师部分队伍被整编进后来的东北民主联军第四纵队。1949年2月，该纵队改编为中国人民解放军第四十一军。

1937年12月24日，中共胶东特委发动了威震胶东的天福山抗日武装起义，创建了山东人民抗日救国军第三军（以下简称三军）。三军诞生后，不断发展壮大，成了胶东抗日战场上的主力军。三军是“根苗”，胶东便成了以后27军、31军、32军、41军创建和发展的沃主。

1935年，中共胶东特委发动的“一一四”暴动虽然失败了，但留下了一支近30人的红军游击队，这支红军游击队在于得水的率领下，转入昆嵛山区，坚持了两年艰苦的游击战。1937年12月24日，中共胶东特委举行天福山抗日武装起义，创建了山东人民抗日救国军第三军，昆嵛山红军游击队成为三军的骨干力量，以其为基础组成了三军一大队，于得水任大队长，宋澄任政委。全大队约50人，辖三个中队。

1938年1月15日，中共胶东特委领导发动了威海起义。18日，中共荣成特支发动了埠柳乡校起义。19日，中共胶东特委决定成立山东人民抗日救国军第三军司令部，理琪任司令员，林一山任政治部主任。同时，对起义部队进行整编，由三军原一大队部分人员与威海起义队伍合编为第一大队，大队长为孙端夫，政委为宋澄。大队辖三个中队和一个特务队。随后，又由三军原一大队部分人员与荣成埠柳乡校起义人员合编为三军二大队。大队长后由于得水接任政委，为林乎加。辖三个中队。

在天福山起义的影响下，胶东各地相继发动了抗日武装起义，起义队伍先后被编入三军。文（登）荣（成）边界的黄山抗日武装起义部队被编为三军第四十一大队，朱志洪任大队长，王明光任政委。车平县育黎乡校起义队伍被编为三军第五大队，后四十一大队又并入五大队，大队长王亮，政委刘中华。荣成古迹顶起义队伍被编为三军第八大队，大队长刘国柱，政委苗雨村。莱阳河崖村起义队伍被编为三军第九大队，大队长庄国瑞，政委沈阳。黄县黄格庄起义队伍被编为三军第三大队。蓬莱西宋家村起义队伍被编为三军第三大队（与黄县番号重合）。即墨县下普东村起义队伍被编为三军第七大队。胶东各地抗日武装起义队伍相继被编入三军后，三军辖八个大队和一个特务队。

1938年3月，三军指挥机关在西上途中，先后将各地起义队伍统一整编为四路：第一路由三军二大队、五大队和特务队组成，高嵩任指挥，李耀文任政委。第二路由蓬莱三大队改称，周拥鹤任指挥。第三路由一大队、八大队改编而成，丁光任指挥。第四路由黄县三大队和九大队改编而成，李希孔任指挥，陈迈年任政委。1938年五六月间，三军一、二、三路陆续抵达黄县，与四路会合，此时三军已发展到3500余人。

1938年8月，三军和胶东抗日游击第三支队统一进行整编。仍使用三军番号，所属部队被编为四个团。第六十一团，由三军三路、四路和一路、二路各一部编成，团长赵一萍，政委刘中华，辖三个营；第六十二团，由原掖县三支队编成，团长郑耀南，政委李耀文，辖三个营；第六十三团，由三军一路、二路各一部编成，团长于得水，政委李丙令，辖七个连；第五十五团由原掖县三支队和三军二路各一部编成。同月,由鲁东游击七八支队留胶东部分组成六十四团。

9月18日，三军改番号为八路军山东人民抗日游击队第五支队。高锦纯任司令员，吴克华任副司令员，宋澄任政委。11月，五支队将所属部队编为三个旅。12月，即墨李兆歧部被编为六十五团。同月，八路军山东人民抗日游击队第五支队改称八路军山东纵队第五支队。五支队副司令员吴克华本月率六十一团二、三营和五十五团三营（该部后来和山东纵队警卫团合编为山东纵队第二支队）支援鲁南。至此，五支队辖六个团，7000余人。

1939年3月，五支队进行一期整军，撤销旅的番号，下辖六十五团十五团和三个直属营。7月，五支队又将主力整编为十三团和十五团。9月，五支队又将三个直属营编为十四团。

1940年9月，五支队改称八路军山东纵队第五旅，仍辖十三、十四、十五团，旅长吴克华，政委高锦纯。同时，以第三军区（1939年9月由中共胶东区委军事部改组）为基础成立新第五支队，辖一、二、三团，司令员王彬,政委王文。1942年7月正式成立胶东军区，并统一指挥第五旅，许世友任司令员，林浩任政委。第一、二团分别改编为十六、十七团，第三团拆编。1942年12月，五旅部队精简为十三、十四两个团。1943年3月，撤销五旅，五旅机关与胶东军区机关合并，胶东军区直辖十三、十四、十六团，十七团拆编。

1945年8月，中共山东分局、山东军区决定，将各军区主力部队和基干部队整编为山东解放军野战兵团。胶东军区奉命将所属部队进行扩编，组建第五、第六师。第五师，以原五旅组成师机关，辖三个团：十三团以原十三团组成；十四团以莱阳、掖县、平北、莱西等县独立营及十三团少量骨干组成；十五团，以东海独立团改编而成。第六师辖，三个团，所属部队为原五旅十四团，原五支十六团和西海军分，区独立团。

1945年9月，胶东军区抽调主力部队和一部分地方干部支援东北战区。10月6日至15日，第五师（欠十三团和十四团三营）、第六师（欠十六团三营）以及东海军分区独立三团、西海军分区独立团、北海军分区两个营和东海、北海区各县的地方武装九个连，总计十个团的兵力，登船海运至东北，编为东北人民自卫军第二、第三纵队。

1946年1月，这两个纵队奉命合编为东北民主联军第四纵队。1949年2月，该纵队改编为中国人民解放军第四十一军。1945年10月，胶东军区奉命第二次组建第五、第六师。第五师，辖十三、十四、十五团，第六师辖七、八、九团。1947年1月，第五、第六师和警备第三旅奉命组建华东野战军第九纵队。1949年2月，该纵队改编为中国人民解放军第二十七军。

1947年4月，胶东军区奉命第三次组建第六师、第五师。第五师辖十三、十四、十五团，第六师辖十六、十七、十八团。1947年8月，,胶东军区奉命组建第七师，第七师辖十九二十二十一团。同月，第五、六、七师合编为华东野战军第十三纵队,1949年2月，华野十三纵队改编为中国人民解放军第三十一军。1948年3月和5月，胶东军区奉命第四次组建第六师、第五师。1949年3月,第五师、第六师合编为中国人民解放军第三十二军。1949年11月，胶东军区又组建一个师编入三十二军。1950年，三十二军所属部队改编为公安和其它部队。

在抗日战争时期，三军打响了胶东抗战第一枪，在此后的艰苦抗战中，这支武装同日伪顽军进行了7000多次战斗，歼敌13万多人。在全国解放战争时期，与三军血脉相连的二十七军和四十一军，攻如猛虎，守如泰山。二十七军先后参加了莱芜、孟良窗、潍县、济南、淮海、渡江和上海等著名战役，歼敌21万余人。四十一军先后参加了鞍海、新开领、辽沈、平津、衡宝、广西等著名战役。1950年1月进入广东，解放南澳等粤东沿海岛屿。二十七军和四十一军为中华人民共和国的建立立下了卓著战功。在战争中，二十七军和四十一军涌现出许多可歌可泣的英雄模范集体和英雄模范人物。在国庆50周年阅兵式上有两个步兵方队，一个是来自二十七军的“济南第一团”，另一个是来自四十一军的“塔山英雄团”，这两个团同三军的关系更是血脉相连，源远流长。

1950年11月，二十七军编入中国人民志愿军赴朝作战，参加了抗美援朝第2、第5次等重要战役，并创造了首战全歼美军五个营，缴获团旗一面的辉煌战例。1979年2月，四十一军参加了对越自卫反击战。在社会主义建设时期，他们不仅在保卫祖国，更在抢险救灾，支援地方建设上。再立功勋，显示了强大的军威。