高远城在战国时代是诹访氏部下高远赖继统治的城堡。1545年，高远赖继被
武田信玄（当时仍称武田晴信）击败。高远城成为了武田氏的领土，信玄其后委派五男
仁科盛信为城主。1582年，武田氏被灭亡。家康分派
保科正俊为城主。1600年关原之战后分封了不少领土，家康派遣正俊孙儿
保科正光为
高远城城主，俸禄2万5千石，高远藩正式成立。第二代将军
德川秀忠与阿静诞下了一名私生子，在7岁起由正光养育，后来名为
保科正之，并继承了保科家。在养育正之的功绩下领土加封到5000石。1636年正之被
幕府移封到出羽国
山形藩，继任的藩主是鸟居忠春，之后由鸟居忠则继承，忠则在1689年突然死后，鸟居氏的继承者鸟居忠英被改易到能登下村藩。
该地成为了
幕府的天领，1691年内藤清枚被分被到这里，高远藩再次立藩。由第二代藩主内藤赖卿起，开始财政出现危机。这个时候开始进行藩政改革，此时亦发生了江岛生岛事件。到了第七代藩主内藤赖宁开始实行鼓励发展产业、教育、开发新田发经营桑园，因而改革成功，但是该地百姓报来因草鞋暴动爆发一揆，藩政再次不稳定。
1859年，最后一任藩主内藤赖直上任，设立藩校进德馆以及参加长州征讨。1868年
戊辰战争被编入新政府军。1869年幕府实行版籍奉还，赖直成为高远藩知事。1871年高远藩因
废藩置县而废藩，领地成为了高远县，同年12月被篇入到筑摩县。