抗日战争时期，中国共产党统一领导的坚持在冀中地区抗日的八路军主力部队之一。1937年8月，红军团长孟庆山等到冀中将当地抗日武装组建成河北游击军。10月，国民党第五十三军三八八旅六九一团团长吕正操（共产党员）率部脱离国民党军，在河北省晋县改称人民自卫军。1938年5月，人民自卫军与河北游击军在河北省安平县合编为八路军第三纵队兼冀中军区，归晋察冀军区指挥。吕正操任司令员，孟庆山任副司令员，孙志远任政治部主任。下辖第七、第八、第九、第十支队以及回民教导队等部。10月，第三纵队整编为五个支队、17个大队、四个团、一个回民教导队及县、区游击队。1939年1月，第三纵队归第一二〇师指挥，建制仍属晋察冀军区。9月，第一二〇师离开冀中回师晋西北地区。第三纵队由程子华率领五个团、回民支队两个大队及津南自卫军组成南进支队；由吕正操率警备旅参加晋察冀军区组编的南下支队。1942年春，第三纵队整编为12个主力团、13个地区队及回民支队。5月，回民支队等部转隶冀鲁豫军区。1943年2月，第三纵队再次整编为六个主力团和11个地区队，警备旅划归八路军第一二九师建制。6月，纵队发起青纱帐战役。8月，吕正操奉命率9个团赴晋西北地区保卫党中央，后编入晋绥军区建制。9月，中共晋察冀分局与晋察冀军区根据中央决定，撤销了八路军第三纵队暨冀中军区番号，其机关并入晋察冀军区机关，军分区由晋察冀军区直接指挥。