出自于藤原南家武智麻吕的后裔维几，其子为宪官至木工头而开始改称工藤氏。

为宪的曾孙维职出任伊豆横领使，居住于伊豆国伊东庄，改名伊东氏。之后祐家、祐继兄弟二家分立，本流一方居住于伊东的发源地，战国时代，北条早云进入伊豆国后跟随，成为后北条氏的家臣。

一方祐继系的伊东氏到了祐时这一代时，受封日向国的地头职。其子祐朝在日向国定居，成为日向伊东氏的祖先。一说祐经从源赖朝那里得到了日向国的县庄、富田庄、绢分庄、田岛庄的地头职，死后职位被嫡男祐时继承。

祐持当政时期，跟随足利尊氏获得战功，受到都於郡三百町的恩赏，之后祐持在都於郡修筑了伊东氏世世代代的居城都於城。

日向伊东氏从祐尧一代起逐渐强大起来。义国一代起，与沃肥城的岛津氏开始争夺频繁，特别是文明十六年及翌年的战事更加的频繁。之后到了义祐一代，以沃肥城争夺战为中心的伊东、岛津两氏之间的战事连绵不绝。永禄十一年，岛津忠亲攻击伊东氏的城，被义祐之子祐兵守住。祐兵继承了义祐，成为了战国大名伊东氏的中心。

祐兵于天正六年，联合大友宗麟与岛津义久、家久在耳川交战，即著名的“耳川合战”。岛津军和大友、伊东联合军在耳川的名贯原、小丸川畔的高城发生激战。战斗中大友军的先遣队被岛津军大败，结果祐兵上京出仕秀吉。秀吉九州平定后，受封日向、肥后的所领，开始被封在曾井城、后来得以归还沃肥城，得到五万石的领地。关原合战中，子祐庆攻击了佐土原城而因此保留了领地。