1944年7月，豫鄂边区党委和新四军第五师遵照党中央和华中局指示，组成一支千余人的豫南游击兵团。8月下旬，在兵团指挥长黄霖率领下，向河南敌后挺进，8月29日渡过淮河，9月，豫南游击兵团向平汉铁路西侧挺进。此时，新四军五师三十八团第三营和四十五团第二营奉命挺进河南，增援游击兵团。
豫南游击兵团挺进淮北，开辟了以
确山县孤山冲为中心，包括
信阳、
正阳、
汝南、
泌阳县、
桐柏县在内的豫南抗日根据地，游击兵团扩编为4个挺进团，约5000多人。4月，豫南游击兵团奉命改为河南挺进兵团，黄霖任司令员，成立中共河南工委，由五师副政委任质斌兼书记。
12月，任质斌带领五师三十九团一支和抗大十分校部分干部到达孤山冲，主持召开营级以上干部会议，确定部队发展方向和根据地建设方针，并派出一支武装北上至襄城、郏县一带侦察情况，迎接八路军南下支队。
1945年1月，根据河南形势的发展，黄霖率主力向豫中嵖岈山地区挺进。中共河南工委决定在孤山冲建立中共豫南地委（又称豫鄂边四地委）、豫南专署和豫南军分区，机关设在徐庄和刘楼村。