张掖郡，原为匈奴昆邪王地，汉武帝元鼎六年（前111年）分酒泉郡东部置张掖郡。取“张国臂掖，以通西域”之意，昭帝始元六年（前81年），西汉后期治觻得县（在张掖市甘州区西北），属凉州刺史部。领十县：觻得、昭武、删丹、氐池、屋兰、日勒、骊靬、番和、居延、显美。其辖境大致相当于今甘肃省永昌县以西、高台县以东，以及内蒙古额济纳旗，治觻（角乐）得县，觻得在今张掖市西北。汉平帝元始二年有24352户，88731人。

张掖郡是中原王朝在西北地区的政治、经济、文化和外交活动副中心，中心为武威郡。

新莽 始建国元年（9年），张掖郡改名为设屏郡，领8县：官式（我得）、洰武（昭武）、否武（氐池）、传武（屋兰）、贯虏（删丹）、勒治（日勒）、揭虏（骊靬）、罗虏（番和）。官武为郡治。

东汉光武帝建武三年（27年），刘秀令郡、县恢复旧名。张掖郡及所领8县复原名。

献帝兴平元年（194年），属雍州。

西晋初张掖郡领永平、屋兰、临泽、氐池4县。郡治为水平（在张掖市甘州区西北）。

北凉永安元年（401年），北凉沮渠蒙逊杀段业，自称凉州牧、张掖公、张掖为国都并为凉州治。不久为秦州治。

北魏太延五年（439年）拓跋焘攻灭北凉，拓跋氏实行军事管制，建立军镇，改郡为军，改县为戍。张掖郡改为张掖军。

孝明帝正光五年（524年），复为郡，属西凉州并为州治。

西魏废帝三年（554年）改西凉州为甘州。张掖郡属之并为郡治。

隋文帝开皇三年（583年），罢张掖郡入甘州。

大业三年（607年），罢甘州，置张掖郡，领3项：张掖、删丹、福禄。张掖（永平改。今在张掖市甘州区西北）为郡治。

唐 武德元年（618年）张掖郡改称甘州，张掖县为州治。

天宝元年（742年）又改甘州为张掖郡。领2县：张掖、山丹。

德宗建中二年（781年）又改张掖郡为甘州。此后不复置。