正德五年，除授
昆山县知县，有异政。民有积逋，特疏请免。时
昆山遭水灾，田园荒芜，民食草根树皮。朝廷催逼欠赋，致使县民卖儿鬻女。方豪冒死呈《乞蠲逋负疏》，历述百姓悲惨情状，云：“夫钱粮，国之用也；民，国之本也。……国用不足尚可为，国本一伤，恐不可救矣。”朝廷派员查勘，减免田赋。
正德七年丁母尤。正德十一年，复除
沙河县知县。
沙河有唐相宋璟碑，不知何时已断裂埋没于荒草泥土中。方豪与本县属吏组织人力物力，将断碑起出土中，镕铁以续之，方豪并作《续宋文贞公神道碑记》以记其事。明隆庆年间
顺德府通判归有光《跋广平宋文贞公碑》也有“方思道为
沙河令，碑已断没，出之土中，镕二百斤铁，贯而续之”的记载。
正德十三年升授刑部湖广司主事。奉钦依差往
江南、
直隶审录罪囚，事完回京复命。正德十四年，因谏阻武宗南巡，跪阙下五日，受杖五十，罢官归。
被罢归故里时，路经
常山又写下《草萍驿会徐伯和》一诗：“当年行役下瑶京，长忆河桥步月明，人妒浮名传已死，君从大难得重生。相看各喜容颜好，一笑还将宠辱轻。古驿寒霄灯为盛，仆夫亦识故人情。”深感
宦海的风险，庆幸劫后余生，更珍惜故人的情谊。 方豪回到
开化金村后，隐居于毛坞，饮酒、赋诗、会友以山水渔钓为乐，留下不少佳作，其间辑成《棠陵集》八卷，前六卷为文，后二卷为诗。
嘉靖元年（1522）世宗登皇帝位，方豪被召回京师，复任刑部主事，赐金，加俸一级，后奉命赴
山东处理积案。到任后，阅案卷，兴调查，酌刑罚，昭冤狱，夙兴夜寐，不辞辛劳，数月积案尽清。三年，任湖广佥事。四年，升
福建提刑按察副使。六年（1527）年仅四十五岁的方豪，上疏乞归，获准告老还乡，时心如羁鸟归林，池鱼入渊。途中赋：《归舟梦故山花发田家叩门借瓮贮酒》诗云：“才断人间念，归舟梦已清。忽传村酒熟，况值野 花明。借瓮应相馈，敲门总不惊。披衣忙起问，江月正鸡鸣。”
方豪四岁即能联句，有神童之称。负才磊落，旷达不羁。方豪生性率真磊落，在《清献告天图》一诗中这样写道：“吾邦赵清献，每事必告天。百年多少事，事事何能宣。吾心自有之，曷不往告焉。既省素袍笏，亦免烧篆烟。天亦厌烦聒，人自多牵缠。或者止
一史，众遂附以传。焉有圣贤徒，此理犹未研？尽信不如无，其然岂其然。”直抒自己对“每事必告天”的看法，反映他旷达不羁的性格。寄情山水，赋诗抒怀，多片刻即成。
王阳明甚器重之，赠句有云：方子岩廊器，兼负云霞姿，每逢泉石处，必刻棠陵诗。生平著作甚多，有《棠陵集》、《断碑集》、《
昆山集》、《养余录》、《见树窗稿》、《庭洞烟雨编》、《蓉溪书屋集》等10余种，除《棠陵集》、《断碑集》收入《
四库全书》外，余皆散佚。
狮山俗称花山，以前上山砍柴，常见岩石刻有字样。山上石刻有五处，其中，刻着“崇岗”两字的，每个字约一尺见方。还有一块石壁刻着“嘉靖八年仲冬福建按察副使方豪至”等15个字，每个字约五寸见方。据传，古时的芹源村是开化通往江西、福建的古道。有可能方豪任福建按察副使时，返往于开化、福建之间，路过芹源，看到山上岩石秀丽而刻的。
方豪在开化境内的碑记、石刻更是屡见不鲜，最广为人知的宋村“十八洞石刻”，天香书院“吟石诗”，北门“山碑”、“林下居碑记”、“方氏家庙碑记”等等。在《
开化县志》中，还看到方豪约于
嘉靖八年（1528年）撰写的《重建戒石亭碑记》。“戒石亭”原立于开化县衙内二门甬道中，正面碑刻“戒石”二字，碑阴刻“尔俸尓禄，民膏民脂，下民易虐，上天难欺”等42句，为五代时蜀王
孟昶官箴，颁示郡邑。
宋高宗复以
黄庭坚书，命州县立石为座右铭。明洪武时，又颁行各郡县建亭，于民国二年亭倒塌，戒石碑移大礼堂之左，上世纪六十年代大礼堂拆建，此碑失踪。
方豪撰写的《重建戒石亭记》全文321个字，叙述开化县戒石碑始于宋绍定四年 （1231年），后虽屡经兵燹，而此碑尤存。文曰：“……兹石者，将以戒贪，墨于未形，深得持宪之爱……自宋太宗以至于今，亦云久矣，郡县之制，屡有兴革，唯此石犹准厥制。得俸禄，以膏脂，民意虐，天难欺之语，实得为政之本也。是制不变，是亭不朽，是石不损，以永垂鉴戒。”《戒石碑记》现虽年久失踪，但览其字，悟其意，还是有一定的历史意义和现实意义的。