东晋太元中侨置南谯郡，治所在山桑县（今安徽省巢湖市南约二十里秀芙乡）。
刘宋元嘉八年（431年），酂县、銍县改属历阳郡（治历阳，今和县历阳镇），南谯郡仅领3个侨县，属徐州。
南齐，地改属南豫州（仍治故钟离城），南谯郡（治山桑故城，名南谯城，今全椒县襄河镇北），领曲阳、山桑、扶阳3个侨县。又置嘉平县（故城位今全椒县襄河镇西南7.5公里地名东嘉平、西嘉平的地方），属南谯郡。酂县改属临江郡（今和县乌江镇）。
东魏武定六年 （548年）， 改涡阳郡，置南谯郡，属谯州。治所在涡阳县 （今安徽省蒙城县）