隋大业三年（607年）改胜州置，治榆林县（今内蒙古准格尔旗东北十二连城）。

榆林郡，中国古代行政区划名。

领有榆林、富昌、金河三县.辖境约当今内蒙古自治区准格尔旗、土默特左旗、土默特右旗及托克托县。隋王朝末年，各方割据势力纷起，榆林人郭于和自立反隋，将郡城奉献给东突厥汗国，向突厥人称臣纳贡。唐王朝建立后，郭子和于621(武德四年)归顺，但郡城又为地方割据势力梁师都所占据。629年(贞观三年)唐王朝派兵平定了梁师都，第二年又废郡设置了胜州。天宝、至德时又曾改胜州为榆林郡。