居于萨摩鹿儿岛郡神食庄的大监氏。第四代大监兼贞因为作了萨摩岛津庄开发领主平季基的女婿，从岳父处继承了领地而成为当地的土豪。后来兼贞之子兼俊移居大隅国肝付郡高山山城，从此这一族改姓肝付氏。 传至七代兼尚时，肝付家曾有移居镰仓的行动。但兼尚之弟兼重反对移居。并与肥后菊池武敏、日向伊东佑广相呼应。以所领国富庄为中心代替兄长继任家督。肝付家在这一代达到了一个鼎盛期。

应历年间，足利尊氏涉足九州，命畠山直显、弥寝氏共同进攻肝付家，后来岛津家第五代家督贞久也加入这场旷日持久的对抗中，形成了三角作战关系的复杂局面。后来，肝付家在对岛津家的关系上分成两流。本宗兼久流主张与岛津家对抗，支宗兼光 流力主与岛津家和睦。这种分歧维持了两代后出现转机。天文十年（1532），领帖木、 加治木城的兼光之孙兼演一反父祖的立场，与大隅北部本田氏等豪族联合起来对抗岛津家。八年后被岛津家大败于加治木城。从此又改为臣服于岛津家的立场。此时大隅肝付家本宗兼続则与萨摩北部的菱刈氏、日向的北原氏联合与岛津家作战。但是面对岛津忠良、贵久这样的强劲对手，这种连年的战争只是使得肝付家的势力逐渐减小。元龟二年（1571），大隅弥寝氏进攻肝付家，兼続长子良兼战死，次子兼亮继任家督后听从了岛津家新纳忠元的劝告，正式臣服于岛津家。后来，基本已经没落的肝付家又因为继承权的问题产生混乱，从而彻底的使肝付一族尽灭。

肝付氏是古代大伴氏（注）后裔的一支，在兼贞任大隅国肝付郡弁济使时，将居城迁到肝付郡高山的弓张城，从此便以地名为姓，改称肝付氏。当时兼贞除了担任肝付郡弁济使之外，还在岛津庄开发领主平季基的支持下，取得了岛津庄庄司的职权，因此在战国之前，岛津家是臣服于肝付家之下的，而後来萨摩岛津氏崛起之後，在南九州也惟有肝付氏有力量可与之抗衡。

第七代家主兼尚时，正值南北朝对峙之际，兼尚和弟弟高山城主兼重、肥後的菊池武敏以及日向的伊东佑广相呼应，共同效力与宫方，一时声威大振。庆历二年，足利尊氏征讨九州，田山直显与大隅豪族祢寝氏共同进攻肝付。从此以後，南九州呈现岛津贞久、足利势与肝付氏三雄并立的局面。

永正三年（1506），岛津武久（忠昌）联合大隅高山城的肝付兼久进攻志布志城的新纳忠武，久攻不克。三年後（1508），武久不幸战败，自杀，由其子忠治继任家督。由於这个原因，自忠治至忠兼（胜久）的十六年间，岛津家一直施行与肝付本家严重对抗的政策，而後来战国岛津家的策略也是此政策的延续。在这种情形下，肝付和岛津之间可说是冲突不断，随时有引发战争的危险。直到岛津胜久时，因胜久、忠良父子不和，岛津家分裂为两派，彼此互相攻伐，肝付和岛津之间的紧张情势才稍获纾解。

因天文十年（1541）以後，被封在大隅北部、领地和岛津家相接的肝付氏旁支肝付兼演，和岛津时有摩擦，且状况日渐加剧，所以在天文十八年（1549），岛津贵久命伊集院忠朗进攻居城在大隅加治木城的肝付兼演，由於家臣北乡氏与岛津相通，兼演不敌而降。天文二十三年（1554），岛津军又大举攻入肝付领地，夺加治木城。

当时肝付家的当主是肝付兼续，他在继承家督之位後，取岛津忠良之女为妻，与忠良之子贵久对立，并和萨摩北部的菱刈氏、日向真幸院的北原氏结盟，大肆扩张领地，构筑了肝付家史上最大的版图。弘治二年（1556），肝付兼续和岛津忠清在日向爆发了大崎之战。永禄四年（1561），岛津贵久、义久、忠将和肝付兼续大战於大隅回城，兼续得到了伊东义佑的支援，在大弁礼城击破岛津军。永禄七年（1564），双方又战於樱岛。九年，兼续派兵攻打岛津义久的属城－日向栉间城。不过就在同一年（1566），兼续病死，由嫡子良兼继位，从此肝付家步上衰退之路。

良兼继任家督後，以联姻的方式和伊东家结盟，并和伊东家联手进攻岛津旗下的饫肥城。後来岛津义久率兵攻向大隅小滨城，城主伊地知重兴向肝付家求援，良兼派兵前去支援，终於击败岛津军，解了小滨之危，但这也是肝付和岛津对战以来的最後一场胜仗。

元龟二年（1571）七月，良兼以三十七岁的壮年病逝，其弟肝付兼亮继任家督，也种下肝付败亡之因。同年冬，兼亮派伊地知重兴、祢寝重良率水军骚扰萨摩鹿儿岛沿岸，并袭击龙水城，但因岛津方守将平田岁宗防守严密，最後无功而返。第二年（1572），岛津义久兴兵攻打大隅回城、市成城，兼亮连吃败仗。同年九月，岛津岁久再攻肝付兼亮，肝付军一败涂地，失去了伊地知重兴的属城，使肝付军士气大衰，兼亮在泰野的领地也被北乡时久趁机占领。

天正元年（1573），义久派岛津征久、岛津忠长出阵大隅。岛津军在西俣城大败肝付军，并在同年十二月包围肝付家最後一道防线－大隅豪族安乐间宽的牛根城。翌年（1574）一月，牛根城陷落，肝付家眼看大势已去，肝付兼亮、伊地知重兴等人遂向岛津家投降称臣。至此，鎌仓幕府以来的名家肝付氏终告灭亡。

注：大伴氏是西元五世纪至九世纪时日本的大氏族，因镇压九州筑紫氏「磐井之乱」有功，擢居朝廷首席。後虽因朝鲜政策而被撤职，但在西元672年的「壬申之乱」中，依附大海人皇子（即後来的天武天皇），使该族再度兴盛起来。西元821年，为了避大伴皇子（即後来的淳和天皇）名讳，改姓伴氏。西元866年，应天门大火，伴家家督伴善男牵连其中，被处流刑，该族於是衰落了