1572年,蒙古首领达延汗的孙子阿勒坦汗率土默特部驻牧呼和浩特,并在今玉泉区境内建“库库和屯”城,从此土默特部从草原游牧过渡到定居生活。阿勒坦汗在此前和
明朝订立藩属关系,阿勒坦汗被奉为“顺义王”。明政府于万历年间赐库库和屯汉名“归化”,意思是令少数民族归顺、化一,服从明朝廷的统治。此即归化城(即旧城)。
雍正十三年(1735)十二月,议筑八旗兵驻防城,作为
喀尔喀蒙古后援,城址选筑于明代的归化城东北2.5公里处。乾隆二年(1737)三月正式动工,
乾隆四年六月竣工,命名为“绥远城”(即新城)。同时置绥远城直隶厅。
1928年,绥远省成立,以归绥县城区设立归绥市,作为省会。
抗日战争时期,日本人将归绥市改为“厚和特别市”。日本战败后,复称归绥市。