上洛郡，古上洛最早的“地市级”建制。是商洛市级建制在本地之祖。西晋泰始二年（公元266年）析京兆郡南部地于上洛县（今商洛市商州区寒川佛诞公园孝义古城村）置上洛郡，辖古上洛的上洛、商县二县及现河南的卢氏县。北魏太延二年（公元439年）于上洛城置荆州，上洛郡属于荆州。太和十七年（公元493年）改荆州为洛州；上洛郡属洛州。

地属司州，辖区相当于今河南省部、中部、西部和山西省西南部及陕西省商洛地区。州治设在洛阳，领12郡。泰始二年，晋武帝分京兆南部置上洛郡，治所在上洛，领上洛、商、卢氏三县（卢氏今属河南省）。

南北朝时期，中国呈分裂局面，行政建制混乱。郡县朝设夕废，统属复杂。由东晋开始的南朝，在辖区的北部侨设了上格的州、县，用的是上洛的地名，以安置南迁的上洛的百姓，包括上洛的巴民。这里不详叙。北魏时属洛州。太延五年（公元439年）于上洛城设荆州，太平真君二年（公元441年），上洛县北部划设拒阳县，太和三年（公元479年）将荆州迁往卢氏。太和十一年（公元487年）又迁往襄阳，撤上洛郡，于上洛城设立洛州，领5郡，其中3郡属今商洛：上洛郡，领上洛、拒阳2县；上庸郡，领商（今丹凤）、丰阳2县；苌和郡，领南商1县，即今商南。

西魏时属洛州和雍州管辖。洛州治所设上洛，领上洛郡（今商州区）、拒阳郡（今洛南县）、上庸郡（今山阳县西北部、镇安县及柞水县东南部）、商县（今丹凤）及山阳漫川、商南县。柞水西北部属雍州管辖。

北周宣政元年（公元578年）改洛州为商州；治所设上格（即今商州城）领上洛郡（含今商州、山阳、丹凤；商南4县及镇柞部分地域）；拒阳郡（今洛南地）。

开皇三年（公元583年）撤上洛、上庸两郡，保留商州；大业三年（公元607年）撤商州复设上洛郡，治所仍设上洛，领上洛县（今商州区）、商洛县（商洛即从前的商县，隋文帝改称商洛，这是“商洛”二字连用起来称呼地名的开始），洛南县、丰阳县（今山阳、镇安县及柞水县东南部）上津县（今湖北省境内）5县；大兴县东南部（今柞水县西北部）仍属京兆郡管辖。

武德元年（公元618年）改上洛郡设商州，贞观元年（公元627年）划归山南道，开元二十五年归山南西道。天宝元年（公元742年）撤商州又改为上洛郡，乾元元年（公元758年）撤上洛郡再改为商州，治所设上洛，领上洛（今商州区）、商洛县（今丹凤、商南两县）、洛南县（今洛南）、丰阳县（今山阳）、乾元县（今镇安及柞水县东南部）、上津县（今湖北省境内）。今柞水县西北部属京兆府。