1938年春，根据国共两党关于编组新四军的协议，原活动在闽北、闽东等地的红军游击队改编为新四军第3支队。军参谋长
张云逸兼任支队司令员，后
谭震林任副司令员，
赵凌波任参谋长，
胡荣任政治部主任。下辖第5、第6团，全支队共2100余人。第5团由
闽北红军游击队改编组成，团长
饶守坤、副团长
曾昭铭，2月25日从江西省
铅山县石塘镇出发，4月初抵达岩寺。第6团主要由
闽东红军游击队改编组成，团长
叶飞、副团长
阮英平（后
吴焜），2月14日从福建省
屏南县双溪、棠口出发，4月初抵达岩寺。
3月，第3支队到达安徽省
歙县岩寺附近地区，进行短期整训。7月，为策应第1、第2支队挺进苏南，保卫军部领导机关及后方单位，第6团一部进至皖南抗日前线，转战于
宣城、
芜湖地区。10月，支队率第5团及第6团一部受命担任
青弋江阵地的防御任务，取得
清水潭、
马家园等战斗的胜利。12月，第3支队奉命调
铜陵、
繁昌沿江地区，配合国民党军抗击日军的进攻，坚持皖南抗战。此时，第6团调赴苏南，划归第1支队建制。
1939年，第3支队与第1支队第1团和第2支队第3团协同作战，在皖南铜陵、繁昌地区作战200余次，以5次
繁昌保卫战为最激烈。其中，11月第四次保卫繁昌，激战16天，击退日伪军3000余人的猛烈进攻，歼其450余人。
1940年4月，日伪军1万余人对皖南进行大“扫荡”，第3支队在繁昌前线阻击日军获胜。7月，第5团一部挺进皖中，与当地游击队合编为第3支队挺进团，后在无为地区开展抗日斗争。10月，日伪军1万余人再次“扫荡”皖南，直扑
泾县云岭新四军军部，第3支队配合第1、第3团及军部直属队英勇反击，挫败了日伪军的“扫荡”。
1941年1月，第3支队在国民党顽固派制造的
皖南事变中受到严重损失。余部突围到达皖中，后与挺进团一起，编入
新四军第7师。