皖南事变后，根据中共中央东南局指示，黄山地区组建了以胡明（后为国家纺织工业部副部长）为书记的中共皖南山地中心县委，领导黄山周边人民与国民党反动派进行了艰苦卓绝的武装斗争。1941年4月，在皖南事变中突围出来的刘奎（后为安徽省军区副司令员）、李健春（1945年率部攻打黟县西虹乡公所时牺牲）等新四军军事干部，组织了黄山游击队，刘奎为队长、李健春为指导员。抗战胜利后，以山地、沿江两个中心县委为基础，组成中共皖南地委，原所属各中心县委游击队称中共皖南游击队，建制不变，活动区域根据斗争形势作了相应能调整。

1947年4月，中共皖南地委将沿江中心县委改组为黄西（指黄山以西、屯溪至景德镇公路以北的大片地区）工委，杨明任书记；沿江游击总队与黄山游击队合编建立黄西总队，刘奎任总队长。同年秋，黄西工委机关及黄西总队，从太平小坑迁至五溪山，同时调整下属组织为太石黟祁、黟休歙、泾太石三个县工委。担负发展太平、石埭、黟县、祁门、休宁、歙县边界地区的游击战争。随之，工委在五溪山设立修枪所，被服厂，休养所。太石黟祁工委也设在五溪山，并在五溪山建立了临时人民民主政府，钱秋育任工委书记和县长。1948年7月，中共黄西工委，对所属游击队进行整编，除将一个连改编为东区游击队外，另两个连和警卫班编成黄西大队，建制两个连，苏帅仁（后曾任省人民政府五计划办公室主任）为大队长兼教导员，周汉清（后为繁昌县人武部长）为副大队长。年底，黄西大队发展到3个连。不久，一连抽调编入中国人民解放军皖浙赣支队。1949年初，黄西大队撤销。