高力士故宅遗址位于高州市区集贤街、安荣二巷一带。高力士故居始建于唐初，后经历代修葺。公元684年，高力士在该宅出世，为少子。10岁时父亲诬罪，籍没抄家，五年后高力士离乡进京，开始他的传奇人生。据《高州府志》记载，离家20年后，高力士寻获失散多年的母亲麦氏。帝闻召见，封越国夫人，追赠其父冯君衡为广州大都督。随即，高力士回潘州在原故居遗址上修建住宅，面积约4000平方米，三进建筑，砖木结构，内有壁画多幅，后人都称之为高力士宅。高力士在宅前亲手种植椰树两株。唐朝时佛教盛行，高力士又在故居旁修建寺院一座，名为“灵惠寺”。高力士宅和灵惠寺在民国期间和解放后多次修葺，但在文革期间遭受较大的破坏。