1939年9月，中共中央决定加强苏皖边区的工作，组编八路军苏皖纵队，任命江华为纵队司令员兼政委，同时兼任皖东北军政委员会书记，统一指挥那里的部队，开辟新的根据地。

江华随即率3个团4000余人，从鲁南王庄出发，越过陇海路，进驻苏皖地区，甩掉敌人的拦截和阻击，于10月中旬在邳县正式成立八路军苏皖纵队。1940年，江华率部队打了几场胜仗，从而增强了苏皖边区军民的抗日信心。

1940年4月，以国民党江苏省主席韩德勤为首的顽固派，呼应日军“扫荡”，进攻新四军张爱萍部。江华与刘少奇共同研究作战方案，集中8个团的优势兵力，向敌发起反攻，迫使顽军溃逃至运河东岸，巩固了皖东北抗日根据地。同年7月，根据中央指示，苏皖纵队撤销，江华带领纵队部分干部回到山东，担任山东纵队政治部主任。