东晋隆安至元兴年间（397—404）置大雷戍。义熙元年（405）在大雷戍设新冶县(治今安徽望江县城雷阳镇)，属晋熙郡(治怀宁，故皖城，今安徽潜山县城梅城镇)。清乾隆三十三年《望江县志》载：“皖出铁，有铁官。今怀西望北有古冶迹，武昌口有炼成墩，漳湖之表有炼成畈……椅子、磨叉间有坑矿，县名新冶，职此之由也。”

南朝陈太建五年(573年)五月伐北齐。八月戊午置大雷郡，新冶县（今望江县城雷阳镇）为郡治所。

隋开皇三年(583年)，废大雷郡，新冶县属熙州（治怀宁，今潜山县城梅城镇）。

隋开皇十一年（591）改新冶县为义乡县，仍属熙州。乾隆三十三年《望江县志》载：“陈、隋间，县有义士助国平时难，隋文帝旌为义乡。”

开皇十八年（598）改义乡县为望江县，属同安郡。县城东南的宝塔河一带曾是长江故道，登城中钵盂山，可一览江流之胜，故名望江。

大业三年(607年)四月，改熙州为同安郡(仍治怀宁，即故皖城)，望江县属同安郡。

唐武德四年(621年)，复同安郡为舒州(仍治怀宁，即故皖城)，仍领望江县。五年，割望江县置高州，望江县为州治。不久，改高州为智州。望江县仍为州治。七年，废智州，望江县改属严州(治宿松，今宿松县城关镇)。八年，废严州，望江县改属舒州(仍治怀宁)。

1988年8月17日，望江县改属安徽省安庆市，至今未变。