1944年4月22日，
毛泽东致电
邓小平、滕代远，为开辟豫西工作基地做准备。之后，中共中央多次发出指示，明确规定了开辟河南根据地的方针政策。7月25日，中共中央发出《向河南进军的部署命令》，决定从
太行军区抽调干部和部队组成豫西抗日先遣支队，尽快挺进豫西开辟敌后抗日根据地。
太行军区根据中央的部署，抽调两个主力团和地方武装一部，组成了豫西抗日先遣支队。支队辖第三团、第三十五团和1个警卫连，由
皮定均任司令员、
徐子荣任政委，
方升普任副司令员，
郭林祥任副政委兼政治部主任。在
偃师、
巩县、
登封一带活动，后来在嵩山地区建立了豫西一分区。11月6日，
太岳军区组成“豫西抗日游击第二支队”，
刘聚奎任司令员兼政委，11月14日由济源南下渡过黄河，到达
新安、
渑池一带。建立了河南军区豫西二分区，
渑池县全部，
新安、
洛宁、
陕州、
宜阳都成了根据地的一部分，各县也相继建立了县政府与县委会。二分区司令员为
韩钧，地委书记兼政委为刘聚奎，地委副书记兼副政委为
贺崇升，1945年2月，在
延安组建的河南区党委、河南军区进入豫西，至抗战胜利时，
豫西抗日根据地面积扩展到2万平方公里，拥有300万人口。
1945年9月25日，接到中央指示：为避免内战，争取和平，迎接战斗，部队要撤离豫西。河南军区决定豫西各县地方部队编入河南军区各支队，称嵩岳部队，登封和其他县的县区干部和干校学生编入南下教导团。第一、四、五、六支队转移到桐柏山区，第二支队转移到太岳解放区；第三支队转移到豫中地区。10月24日，南下支队，河南军区部队及冀鲁豫军区第八团，与正在桐柏山进行自卫反击作战的新四军第五师会师于桐柏。河南军区部队的第四军分区、第六军分区归第五师直接领导。1945年10月30日，中共中央中原局、中原军区和中原行署在
桐柏县城郊叶家大庄宣告成立。
中原军区下辖桐柏军区、江汉军区、
鄂东军区3个军区，1946年2月桐柏军区改为河南军区。
1945年2月，河南军区对部队进行整编，建立了4个支队和军分区。4月，太岳区组建的第六支队到达。5月，由洛宁中心县委改造的地方武装伊洛独立支队改为第五支队。在第一至第六支队活动区域，相应成立第一至第六地委、专署及20多个县委、县抗日政府。