台湾当局原先在县之下仅有乡、镇两种行政区。但台湾日据时期为平衡区域发展，在东部设立花莲港、宜兰两市。由于其人口未达中华民国所订省辖市成立标准、但重要性又高于镇，因此于1946年《
台湾省各县市实施地方自治纲要》中，在台湾省境内制订“县辖市”行政区作为折衷。1950年代，新竹、嘉义、彰化、屏东等省辖市亦并入县，成为县辖市。
早期县辖市的人口门槛规定为5万人，后又修改为10万人，首先符合并改制者为台北县三重镇（今新北市三重区），20世纪90年代县辖市的人口门槛又擢为15万人。1981年再修订“县政府所在地”亦得设立县辖市（如澎湖县马公市、南投县南投市、嘉义县太保市等），但有特例为嘉义县朴子市：由于1993年新成立的嘉义县县政中心跨越太保乡及朴子镇，而县政府位于太保，自然可改制为市。但县议会位于朴子，在地方要求下亦比照改制为市。应注意的是该法限定县辖市仅在台湾省运作，故“中华民国”实际领有的金门县县治金城镇、连江县县治南竿乡皆不适用之。
2015年，台湾方面修订县辖市人口门槛，由原先十五万人改为十万人以上的乡镇，得改制为
县辖市。