汉武帝元鼎二年(公元前115年)建令居县，有人认为过去是先令(零)羌居住的地方，因以得名。

汉光武帝建武十年(34年)曾在这里置护羌校尉。清乾隆《甘肃通志》记载：“令居故城在平番县（在今甘肃永登县）西北”，辖区当为今甘肃永登县西北部与天祝县交界处。晋废。汉光武帝建武十二年(36年)省金城郡，令居县属陇西郡。次年恢复金城郡，令居县还属。魏，西晋因之。前凉、前秦、后凉、南凉、西秦、后秦、北凉时，令居县属广武郡。北魏太延五年(439年)，灭北凉，省并了原来的令居、永登、枝阳三县，置广武县，为广武郡治。