他把中原的农耕技术带到合浦，亲自教合浦民众耕种，修渠筑坝蓄水，并和老百姓在一起耕田建屋，同吃同住，得到了民众的爱戴和拥护。费贻离任赴京之日，合浦士民不忍让其离去，扶辕百里相送至一山下，才依依不舍泣别分手。费贻离开合浦后，民众为纪念他治理、开发合浦的功德，便把泣别分手的大山取名为“廉山”，把所在的田垌称为大廉垌，把合浦江(汉时又称“瘴江”，明代称为西门江)改名为廉江，把费贻在合浦带领民众所挖的井称廉泉(今合浦县城体育场内，汉时称甘露井)。唐贞观八年(634年)，唐太宗因合浦境内有廉山、廉江，便将合浦郡改为廉州，取意为“弘扬廉洁勤政吏洽之风”。
费贻是富有
贤名之人。他在乡中以操守著名，有南安“
清廉节义五杰”之誉，与李业、谯玄、王皓、王加等俱为刘秀（即后来的汉光武帝）所敬重的名士。西汉末年，王莽专权，天下大乱，群雄割据。时公孙述据四川为王，也想借重这一批名士的声望来巩固自己的地位，但这些名士都不愿为公孙述所用，以死明志或被逼死。后闻费贻贤名，多次请之出山相助。费贻不愿为割据势力卖力，于是跑到深山隐居。公孙述派人跟踪邀请，费贻就把漆树汁涂在自己身上，使
皮肤过敏感染成癞疥状，还披发佯逛逃避。刘秀统中国后是为光武帝，立即派人去寻找费贻等人回来为国效力，并多次派遣特使去邀请费贻入朝。
费贻在
合浦太守任上，大力推行政清刑简，“政清”就是执政清廉公正，勤政有为，施德惠民。“刑简”就是各种规章制度都要符合百姓的利益，不能让不必要的规程扰民而成为老百姓的负担。他在任期上更是身体力行，为合浦的民众做了大量有益于民生的业绩，志书因此记称：“民感其德”。费贻在任满离职之日，合浦郡民攀辕百里相送，一直送至县界的一座大山下方洒泪惜别。费贻离开合浦后，老百姓感念他的功德，便将洒泪惜别之处的大山称为廉山（即今合浦公馆六湖至南山一带山脉的主峰望海峰、梅嶂。此山脉下的田垌为大廉垌。《
读史方舆纪要》记述，廉山又因上有廉垌而名），山下的田垌称为大廉垌，后世又将穿越合浦而过的南流江称为廉江，城中的水井称为廉泉井，到了唐代，合浦又因廉山吏风之德，而名廉州。明宋崇祯本《廉州府志》因此记述，“合浦江山皆名廉者，以贻故也”。费贻故乡的民众为之作歌：“节义至仁费奉君，不仕乱世，不避恶君”。合浦府学孔庙的三贤祠为之塑像祭祀，以传政德。四川荣州文庙的乡贤祠中立有费贻神位。
据《华阳国志》等史籍记载，费贻随特使朝见汉光武时，光武帝说：“寡人思卿久矣，未能得见，今幸屈至，喜跃弗胜”。费贻答说：“臣恨无才佐事陛下，既蒙恩诏，敢自违乎”。汉光武帝“大喜。遂封费贻为合浦太守”。“于是咸悦，莫不归心”。由此可见费贻在当时是具有一定影响力的，汉光武“遣使复征”，更是有眼光的。事实证明，费贻来到合浦任太守后，果然不负所望。