何伯祥幼时加入金军，以行军千户隶属
张柔部下，跟随张柔归顺
元太祖。元太祖定
河朔，只有
保定经略使王子昌、信安公
张甫坚守不降。王子昌是金国骁将，张柔命何伯祥取之。何伯祥兵逼城下，王子昌出走，何伯祥追及之，何伯祥执枪驰马，王子昌反射之，何伯祥被射中手而贯枪，何伯祥拔矢弃枪，策马直前，徒手搏之，生擒王子昌及所佩
金虎符，张甫遁去。何伯祥攻取西山诸寨，取三十余城。后攻
汴梁，拔
洛阳，围
归德，破
蔡州，论功居多，以功授易州等处军民总管。
元太宗九年（1237），跟随主帅
察罕伐宋，何伯祥拔三十余寨，获战舰万余艘。宋人以兵二万守
洪山，何伯祥逆战，破之，又从克
光州，进攻
黄州。有小舟来侦察，张柔说：“此侦者，吾当备之。”命何伯祥伏兵
赤壁，以待宋军。夜里宋军果然水陆来攻，何伯祥截击宋师，大败之。军还，又拔张家寨，俘斩万级。大帅
口温不花、察罕以其功上闻。张柔
入觐，面奏何伯祥的战功，赐
宣命、
军符，充易州等处行军千户，兼军民总管，仍赐厩马、衣甲。张柔常命何伯祥摄帅府事，军事皆咨询他。
元宪宗二年（1252），又随大军南征，深入敌境。察罕由别道急还，诸将
仓皇失措，何伯祥说“此必为敌所遏，不如出其不意，使不能测我，乃可出也。”遂直抵
司空山寨，为攻取之势。到了晚上，分所部为十营。营火十炬，伏精锐于营侧险要之地。天将明，令士卒速行，而鸣鼓其后。宋兵果追之，遇伏，惊溃，大败之，转战千余里，帮助其他军队解围。元宪宗闻之，赐黄金二百两。