隋开皇九年（589年）春，隋兵攻占建康，灭陈朝，得“州三十、郡一百、县四百、户五十万”。隋朝灭陈以后，为了从根本上消除
建康的都城地位及其在人们心目中的印象，以免被人占领继续称帝，下诏“建康城邑、宫室平荡耕垦”。于是，六朝时期建康境内的宫殿府第、亭台楼阁全部被夷为平地，辟作农田，一扫六朝帝王都城的繁华。
南京不仅结束了其
六朝都城的历史，而且遭受了自建都以来最大的一次摧毁。
文帝杨坚诏：“于石头城置蒋州。”蒋州的得名源于蒋山。蒋山乃
紫金山东吴时的名称。汉代，紫金山被风水先生说成“王气所钟（汇聚）之处”，于是便有了钟山之名。东吴时，为避孙权祖父孙钟之讳，以东汉末年战死在钟山的秣陵尉蒋子文之姓改名为蒋山。因此只留下石头城作为蒋州的州城，管辖
江宁、
溧水和当涂3个县。
隋炀帝大业二年（606年），将
建康县、
同夏县、
秣陵县三县并入江宁，废临沂、丹阳、湖熟三县，属地也并入江宁。次年，蒋州复名丹阳郡，江宁、
溧水仍隶属丹阳郡。
隋朝有意识地实行抑制
金陵的政策，毁掉了六朝建康的城池和宫殿。而唐朝继续实行抑制金陵的政策，使得该地区城市建设没有多大发展，但金陵依然为当时中国东南的重镇，经济文化的中心。
唐武德九年（626年），将设在石头城的行政机构州治“扬州”迁往江都（今扬州市），金陵先后称为“蒋州”和“昇州”。唐时南京曾用过丹阳、
江宁、归化、
白下和上元等名称。
唐武德三年（620），杜伏威以江南地归唐，唐王朝以江宁、溧水二县置扬州，改江宁为归化县。七年，平辅公祏，改扬州为蒋州，八年再改为扬州，同年底移扬州大都督府及州治于江北邗州（今扬州江都）。八年改归化县为金陵县，九年，改为
白下县，属润州。贞观九年（635），又改为江宁县。至德二年（757），于江宁县置江宁郡。乾元元年（758），改江宁郡为升州。上元二年（761），改江宁为
上元县。宝应元年（762），废升州。光启三年（887），复置升州。
唐代中期以后，许多著名的诗人都曾前来金陵游历和凭吊，创作了相当数量的“金陵怀古”诗，其中以崔颢、李白、刘禹锡、杜牧、李商隐、韦庄等最为有名，反映了当时
南京地区的社会风貌。
《
读史方舆纪要》：隋平陈，郡废，于石头城置蒋州。大业三年，复曰
丹阳郡。唐武德三年，置扬州。七年，改为蒋州。八年，复为扬州，置大都督府。