金森氏左迁後，高山成为德川幕府的直辖地区，代官（地方官）、郡代（官名）等在此设置了办公机构，以管理飞驒地区的行政。这个办公场所（日语称“役所”），被称为“高山阵屋”，官员们在此下达命令、通知以及办理纳贡事宜等。自明治时期起，这里相继被用为县政厅（日语称“县厅”）、郡政厅（日语称“郡役所”）、政府分支机构（日语称“支厅”）等。在日本，代官所（地方政府）之建筑物保留至今的，唯此一处。
从「三町古街」出来右转、过朱红色的「中桥」後，便是进入肇建於大正十四年的「高山阵屋」。「高山阵屋」系为当年丰臣秀吉的家臣－金森长近被分派到此地後所建立的行政官署，也是全日本现存幕府郡代时期唯一的奉行所（掌管幕府直辖领地的行政衙门）遗迹。
「高山阵屋」始建年代为1615年，现存的屋舍，只有谷仓是始建年代时的建筑物，其它的建物是在1816年至1841年之间仿原样重建的，至今也已有400年的悠久历史。「高山阵屋」的内部空间配置为了保存原味，都依照史籍典故还原布置，其中包含拷问犯人的审讯所及竹编的刑具，仍然是旧时的讯问位置。
除了著名的京都府，高山市大概是观光客最推崇的怀旧都市，有“小京都”称号的高山市，典雅恬静的小镇风貌，韵味更甚京都，而日本女性最向往旅游的国内城市调查中，高山市更高居前三名。
传统和风、纯朴小镇加上特色杂货，让位于岐阜县、人口只有10万人的高山市成为著名观光景点，国内旅人可能对它并不熟悉，但是每年造访高山的观光客人次高达300万，足见其魅力。
来到高山，徒步最能捕捉小镇风华，穿梭于老街巷弄，放眼望去尽是古朴风情，经过拥有400年历史的“高山阵屋”，
江户时代的传统建筑外貌，立刻吸引了旅人的目光。
走出阵屋，大门前的朝市值得一逛，各种当地的传统美食与渍物让人目不暇给；老街风情更不可错过，斜瓦屋房、木格窗棂，放眼拙实原木色调，街上一家贩售味噌的老店，店内烧着一锅热腾腾的味噌汤让客人试喝，冷飕寒风下喝一碗热汤绝对是一大享受，自然也会买上两包带走。看着排队购买的人群，让人觉得不买一包道地的味噌好像是一种损失。