上谷郡始建于战国燕昭王姬平二十九年（公元前283年），郡治在今河北省张家口市怀来县小南辛堡镇大古城村北沮阳遗址，因建在大山谷上边而得名。

秦始皇统一中国后，分天下为三十六郡，上谷郡（治沮阳县，今河北怀来东南怀来县大古城北7里）亦名列其中。郡设郡守，也称郡将，本为武官，后渐为地方行政长官。

汉景帝中元二年（公元前148年），改称太守，太守之下设郡丞和郡尉，分管民事和军事。汉代飞将军李广就曾任上谷太守。秦汉时期，上谷郡下辖十六个县（汉弃斗辟县后为十五个）。属幽州刺史部。王莽夺取皇位，改上谷郡为朔调郡。三国曹魏时郡治曾移至居庸，大古城仍为沮阳县治所；西晋时上谷郡治又迁回沮阳。

后又属于五胡十六国中的后赵、前燕、前秦、后燕诸朝，上谷郡辖地范围虽几经变化，但郡治城却一直沿用。南北朝时期，北魏改上谷郡为平原郡，仍与沮阳县同治。北魏以后上谷郡与沮阳县从记载中消失。据史料记载：北魏末年，北方六镇爆发了声势浩大的边民起义，特别是孝明帝正光六年（525年），柔玄镇人杜洛周发动的上谷郡农民起义，以“真王”为年号，攻克燕州（今涿鹿），并一路南下，先后占领涿州、定州。

上谷郡城很有可能毁于这次农民起义的战火，以致废弃。由此推算，上谷郡城自战国燕昭王时始设，一直到北齐末居遭受突厥多次摧残，无复人迹。共经七个大的历史时期，10个封建王朝，历860年。

阪泉

造阳

赤城

温馀水

于延水

阳乐水

寇恂：上谷昌平人，东汉云台二十八将之一，雍奴侯。

寇赞：（363~448）上谷昌平人，北魏世祖时南雍州刺史。

侯龛：冉魏中山太守

侯辩：北魏大司马从事中郎

侯赞：北魏孝文帝时司州刺史、上谷侯

成轨：上谷居庸人，北魏宦官、卫将军。

成淹：（？-502）北魏辅国将军、平阳太守

王次仲：上谷沮阳人，秦汉时期书法家

公孙凤：两晋时期隐士。

张衮：（338~410）上谷沮阳人，北魏道武帝开国功臣，追赠太保。

新中国成立后，文物考古工作者多次对大古城村北沮阳古城遗址进行调查，发现上谷郡遗址由大小相连的两个土城组成，这种结构与易县燕下都十分相近。说明两者是属于同一时代、同一文化类型的遗址。由于官厅水库的修建，如今的大城北墙和西墙已没入水中，只有东城墙与南城墙断断续续地部分保留，城址残存面积45万平方米。小城位于大城东南隅外侧，与大城合墙并立，残存着五段城垣，土质结实，平面近梯形，城址面积约14.2万平方米。