西汉置，属
桂阳郡。治所即今
广东连州市。
《太平寰宇记》 卷117桂阳县： “在桂水之阳，以为名。”
三国吴属
始兴郡。
南朝梁天监六年（507）为
阳山郡治。
隋开皇十年（590）为连州治。大业初为
熙平郡治。
唐武德四年（621）复为连州治。
天宝元年（742）为
连山郡治，
乾元元年（758）为连州治。
元至元十七年（1280）为连州路治，十九年（1282）升为
桂阳州。
西汉初年（
公元前206年）立县，称桂阳县，含今连州、连南、连山三县（市）。桂阳名来由有二说；一说治之西有桂阳山，故名桂阳；二说因桂水发源于大罗岭（连州与
蓝山县的界山）向北而流，古时有水北为阳，故名；隶属
吴芮长沙国。
长沙马王堆出土的西汉文帝时绸帛地图，标明有“桂阳县治”。
汉武帝元鼎六年（公元前111年），以
湘南粤北之地置桂阳郡，境内隶属之。自此以后，历经
两汉、三国、
两晋到
南朝宋、
齐两朝，桂阳县建制一直未改，仅隶属关系略有变化。三国吴时属始兴郡，
晋同吴制。
宋武帝（420—422年）时置
小桂郡，治在桂阳。明帝
泰始六年（470年）析置
冈溪县（地在今连州市西北），并置
宋安郡，附郭在桂阳，领桂阳县、含匡县、
阳山县、
冈溪县4县。
泰豫元年（472年），废宋安郡，
元徽四年（476年），改始兴郡为广兴郡，境内属之。
南齐建元元年（479年），又改广兴郡为始兴郡，析桂阳县地置希平县（
隋改名熙平县，在今
连山壮族瑶族自治县北），并属始兴郡。南朝
梁天监五年（506年），
梁武帝析桂阳县地，在县境内新置
广德县（一作广惠县）。
梁天监六年（507年），梁武帝在
含洭县地（今
浛洸镇） 设立衡州和阳山郡，衡州辖
阳山郡、始兴郡（今韶关市境），阳山郡辖阳山、桂阳、含洭、浈阳、广德（今连山，置县于506年，后改称广泽）等县。梁大同元年（535年），衡州分作东、西二衡州，
西衡州领阳山、梁乐、齐乐三郡。阳山郡辖含洭、阳山、桂阳、广德4县。
隋开皇十年（590），平陈，废阳山、梁乐两郡，置连州，领桂阳县、广泽县二县。
大业三年（607），废连州，置熙平郡，领桂阳县（含今连州市、
连南瑶族自治县，下同）、
连山县、阳山县、
宣乐县（以梁乐县改名，在今阳山县南）、游安县（故治在
怀集县西）、熙平县（故治在连山县西北）、武化县（故治在
广西象县西北）、
桂岭县（故治在
贺州市东北）、
开建县（故治在
封开县南丰东）等9县。大业十三年（617），宣乐县并入阳山县，熙平郡属
萧铣。
唐武德四年（621年），平萧铣，改熙平郡为连州；天宝元年（742年），改连州为连山郡；乾元元年（758年），复名连州，辖境均只有桂阳县、连山县、阳山县三县。自晚唐
光化三年（900年）至
五代，归于
马楚。到
乾和九年（951年），改属
南汉。自此至
两宋，连州、桂阳的州县名称及辖境均无移易。面归属则几经变化：
贞观年间属
江南西道，天宝年间属
岭南道，乾元以后属湖南道，
大历三年属
广州，
两宋属
广南东路。
至
元十三年（1276年），元兵下
岭南。初，在连山置
安抚司，直隶行书省。十七年废安抚司，升为连州路
总管府，隶湖南道
宣抚司。十九年降为散州。其时连州迁出桂阳县城，移治于连山，领连山一县。同时，升桂阳县为散州，称为
桂阳州，领桂阳及阳山二县。
大德年间(1297—1307年)，桂阳州、连州一度改隶广东英德路。
明洪武二年（1369年）三月，桂阳州省入连州。