抗日战争初期，中共山东省委领导各地人民,为反抗日军侵略而发动的武装斗争。1937年9月,省委根据党的抗日救国十大纲领和开展敌后游击战争的方针,以及中共中央北方局提出的“每个优秀的共产党员脱下长衫,到游击队去”的号召,制定了发动抗日武装起义和组织抗日武装的十条纲领。10月初，日军进逼鲁境,局势顿形严重,省委在济南召开紧急会议,决定分区发动武装起义,并将部分干部派赴各地。

1937年秋,中共山东省委派姚仲明、廖容标等到长山(今属邹平),与长山中学校长、进步人士马耀南合作,开展抗日救亡活动。1937年12月27日，率学生、工人和农民百余人在黑铁山举行武装起义，成立山东人民抗日救国军第五军，廖容标任司令员，姚仲明任政治委员。淄川、益都(今青州市)、章丘、历城、临淄等地的起义武装也相继编入该军。

山东人民抗日救国军第五军从建立以来，在党的正确领导下，通过夜袭长山城、小清河伏击战和白云山战斗，声威大振。之后，第五军为广泛开展游击战争，迅速扩大抗日武装力量，分兵两路，一路由廖容标、姚仲明率领跨过胶济线，开辟路南地区根据地；一路由马耀南、赵明新率领，继续留在周村、长山一带坚持抗战。第五军连打胜仗，极大地鼓舞了周村及长山人民的抗战热情，各地抗日武装纷纷投奔第五军，短时间内，第五军就发展成为拥有 30 多个中队、5000余人的抗日武装队伍。

1938年5月下旬，中共中央决定将山东省委扩大为中共苏鲁豫皖边区省委，郭洪涛任书记。同月，根据中共中央关于迅速恢复建立山东各级党组织的指示，苏鲁豫皖边区省委决定建立中共清河特委，辖区除清河流域诸县外，还包括胶济铁路南的淄川、博山、益都、临朐、安丘、昌乐六县。

在这之前，由于共产党领导的山东各地抗日起义部队的称谓极不统一，有的使用八路军的番号，有的则称“山东人民抗日救国军”、“抗日义勇军”、“抗敌自卫团”等，还有的使用国民党第五战区的番号。不仅番号不统一，而且部队的建制、领导人的职务称谓也不一致。这些都不利于部队的统一指挥，协同作战，以及与友军的友好相处。为了统一山东各抗日武装的领导，更有效地开展对敌斗争和反对国民党顽固派的控制、攻击，郭洪涛向中央建议，山东省党组织领导的山东境内的抗日武装统一使用八路军番号。1938年6月6日，毛泽东、刘少奇电示郭洪涛：“山东的基干武装应组建支队，恢复和使用八路军游击队的番号。目前，可组成4至5个支队，区县武装则以支队领导下的名义出现，用抗日联军的名义不好。”6月8 日，毛泽东再次电示：“凡属我党领导，已取得广大群众拥护，又邻近友军之游击队，以八路军名义为宜。否则，各地国民党均将控制，如使用普通名义，则不得不听其指挥，甚至通令解散，八路军也无权过问，用八路军名义则无此弊。”

山东的抗日起义武装在整编中，除冀鲁边和鲁西北两个地区的部队外，先后整编为5个支队、2个义勇总队和1个自卫团，共3万余人。第五军的改编从一开始酝酿就遭到了国民党顽固派的破坏和捣乱。国民党山东省主席沈鸿烈先是派两个政客到第五军中封官许愿，拉拢人心，破坏改编，制造混乱。沈鸿烈还给马耀南写信，以“鲁北行署游击纵队司令”的头衔利诱马耀南，但马耀南不为国民党的高官厚禄所诱，回击了沈鸿烈。随后混进抗日第五军的邹平地方实力派、顽固分子张景南、高竹筠也跳出来，公开抵制改编。

面对国民党山东省主席沈鸿烈及地方顽固分子的种种捣乱和破坏，6 月上旬，杨国夫召集马耀南及第五军支队长马晓云、7支队政治处主任樊语乡等召开会议，杨国夫向他们介绍了全国抗战的形势,传达了毛主席和刘少奇同志的有关指示和中共边区省委关于将抗日第五军改编为“八路军山东人民抗日游击队第三支队”的决定，说明公开打出八路军番号，能更加保证共产党的领导，便于抗战的统一指挥，更有利于开展统战工作，发动群众，建立一支真正的抗日人民军队。马耀南详细介绍了第五军下属7个支队的军事、政治及武器装备情况，并分析了改编中可能出现的阻力，提出改编将是一场尖锐复杂的斗争，决不可以掉以轻心。为了使改编工作迅速稳定地进行，经中共清河特委决定，先把由共产党员领导的几个中队改编为三支队特务营，由杨国夫兼任营长，作为改编的骨干力量。然后召开支队会议，统一改编思想，再召开中队长会议，传达改编决定，最后召开全体军人大会发布命令，成立“八路军山东人民抗日游击队第三支队”。在部队何去何从的关键时刻，马耀南立场坚定，坚决支持拥护中共山东省委关于将第五军改编为八路军的决定，坚决抵制了张景南、高竹筠等顽固分子破坏改编的企图，保证了第五军始终坚持中国共产党领导的抗战道路。

1938年6月16日，4000余名第五军抗日将士在邹平城东关原乡村建设研究院操场上，召开大会，宣告“八路军山东人民抗日游击队第三支队”成立。改编以后，三支队针对部队发展较快、新兵多，加之参加改编的各个部队在思想作风、纪律方面不尽一致、存在不少问题的状况，进行了以加强党的领导、提高战斗力、巩固部队、严格执行纪律为主要内容的整训。通过整训，部队的军政素质有了明显的提高，对于第三支队的建设起了重要的作用。

根据形势需要，1938年10月，中共苏鲁豫皖边区省委决定将清河特委领导的胶济铁路以南的淄川、博山、临朐、安丘、益都、昌乐 6 县划出，组建淄博特委。1938年12月，根据中共中央决定，八路军山东纵队正式成立，第三支队被改编为“八路军山东纵队第三支队”，第三支队在党的领导下，不断发展壮大，打了许多胜仗、硬仗，逐渐锻炼成为山东八路军的主力部队之一。