常林废县府西南百五十里。《通典》：县西北去贵县百里，汉阿林县地也。晋以后，为郁平县地。

唐武德四年，置常林县，又置林州治焉。六年，改为绣州。贞观六年，省归诚县入常林，移治归诚故城。天宝初，曰常林郡。乾元初，复故。宋开宝五年，废绣州，并县入桂平。旧《志》：常林故县，在今县西南二百里。唐武德四年，置归城县，亦属绣州。后归诚县废，常林随州移治焉。