其周围为一批民州、民县所包围，属于内地卫所的性质。却因临边．颇具边卫的特征。杨一清说：“绥德独以一面之险，遮千余里之冲，昔人谓之可守不可弃者。”又说：“绥德编氓，多散居乡落，城中居民，不数十户，比屋边巷，俱是卫所丁籍。”①绥德城中的民籍人口之所以只有几十户，实为洪武六年内迁所致。这年十一月庚戌，
临江侯陈德、巩昌侯郭子兴、都督佥事叶界等奏：“绥德、庆阳之境，胡寇出没无常，民多惊溃。请迁入内地，听其耕种。有胁从诖误者招抚之。”结果得到朝廷的同意。以后从绥德卫中析出榆林卫来，绥德卫城因此而迁往榆林，成为一个与州县分离的完完全全的边卫了。
倪岳说：“洪武二年定陕西，孔兴北遁，设绥德卫，屯兵数万守之，拨绥德卫千户
刘宠屯治榆林。正统中，命都督王祯镇守延绥，始议筑榆林城及沿边十八寨，移镇于彼。成化七年(1471年)置榆林卫。”⑧榆林卫就是由千户所发展而来的。绥德卫的兵力，达数万之众。