皇甫晖为人勇猛而且无赖，他夜间在军中与其他士兵赌博，赌输了，没有钱，他就和同伙策谋发动叛乱。当时，唐庄宗已经失政，天下人心散乱，所以一经鼓动，魏州军士群起响应。
同光四年（926年）二月，他率领乱兵劫持了都将杨仁晸，对他说“：唐之所以能够灭梁而得天下的原因，是因为先得到魏州，拥有了河北的军队。魏州兵甲不离身、马不解鞍已十多年了，现在天下已经平定，天子却不顾念魏兵长期戍守边关之苦，我们离家已经很近了，却不能回去。现在将士们思归心切，将军应当和我们一道回去。如果天子发怒，干脆就占据一州，足以起事。”
乱兵们听他这么说，知道不能强求杨仁晸领导叛乱，就杀了他，接着推选一个小校做首领，小校不答应，又杀了他，然后提着两颗脑袋去见裨将
赵在礼，赵在礼听说发生兵变，想爬墙逃走，被皇甫晖拉着脚从墙头拉下来，然后把刀架到赵在礼脖子上，把杨仁晸的首级给他看，还说，不从我们就如此首级。“赵在礼知道不可抗拒，便顺从了他们，答应领导叛军。于是叛军在夜里烧了贝州进入
邺都，赵在礼自称为
留后。任命皇甫晖为马步军都指挥使。皇甫晖率领数百骑人马，在城中大肆抢掠，到一百姓家中，问姓什么，百姓说“：姓国。”晖说“：我就是要破国。”便杀尽百姓全家。又到一百姓家中，问姓什么，百姓说：“姓万。”晖说：“我只杀一万家就够了。”又杀光其全家。
唐庄宗
李存勖派遣
李嗣源率兵讨伐叛乱，没想到讨伐军也发生了叛乱与叛军联合起来拥立李嗣源为帝，赵在礼把李嗣源迎接进城内。后李嗣源挥兵反攻京师，唐庄宗在出逃路上被哗变的部下射杀，这一连串的叛乱都是一介军卒皇甫晖所引发的。
后晋建立之后，皇甫晖从地方调到京师，担任卫将军。已经当上了节度使的赵在礼当时也来到京城，皇甫晖前去拜访他，他对赵成礼说：“我们同在
甘陵起事，最终成就大业，但事情是由我先发起的，你今天的富贵，能让我分享一点吗？否则，你将大难临头！”赵在礼听了十分害怕，送给他数千钱物，还设酒款待他，喝酒之时，皇甫晖镇定自若，喝完酒不谢而去。
后来，皇甫晖被封为
密州刺史。后晋天福十二年（947年），
契丹南下，攻入后晋京城，后晋灭亡，为了躲避契丹人，皇甫晖率领其州人逃到江南，投奔
南唐。南唐元宗
李璟派人乘船逆江而上去接应他们，到南唐之后，皇甫晖历任
歙州刺史、神卫都虞候，后任奉化军节度使，加同中书门下平章事，镇守
江州。
南唐
保大七年（949年），淮北处于后晋、后汉朝代交替的混乱之际，各地武装都表示愿意归顺南唐，李璟见有机可趁，派神卫都虞候
皇甫晖率军万余出发，到海、泗诸州招纳各路豪强武装和因战乱四散的流民。蒙城守将咸师朗等人都归顺皇甫晖，徐州守将成德钦不肯归降，皇甫晖与之在峒峿镇交战，后唐军大败，被斩首六百余人，皇甫晖率军退回南唐。
后周显德二年（955年），
后周集结大军，准备南下，李璟任命神武统军刘彦贞为北面行营都部署，将兵二万守寿州，奉化节度使、同平章事皇甫晖为应援使，常州团练使
姚凤为应援都监，将兵三万屯定远。刘彦贞治军无方，大家都知道他必败无疑，只有皇甫晖老成持重，所部军容齐整，士兵乐于为他效命，周军十分忌惮他。
后周显德三年（956年）春天，周世宗
柴荣率领大将
赵匡胤等人进攻南唐的淮南地区，李彦贞战死，皇甫晖与姚凤退守清流关，集结了号称十五万人的军队。二月，柴荣亲率精锐攻打
寿州，令赵匡胤率部急进偷袭
清流关。皇甫晖列阵于清流山下，刚跟后周军的前锋接战，赵匡胤就率兵从山后杀出，皇甫晖等大惊，率军败走一路列部退入滁州城。皇甫晖断了护城河的桥梁，打算坚守城池，赵匡胤骑马率兵涉水过了护城河，直追到城下。皇甫晖说：“我们各为其主，希望我们双方能摆开军列一决胜负。”赵匡胤笑笑答应了他。皇甫晖整队出城，赵匡胤抱着马脖子径直上前，一刀砍中皇甫晖的脑袋，将他活捉，南唐军大败，姚凤也被生擒。皇甫晖与姚凤被活捉之后，赵匡胤把他们送到寿州，柴荣召见他们，皇甫晖见了柴荣说：“我累了，坐一会儿。”坐下之后，又说：“我躺一会儿。”不等柴荣同意，就躺下了。他神色自若地对柴荣说：“不是我不为国事尽力，实在是南北双方军队差距太大，我在后晋为将的时候，曾与
契丹人交战，契丹人的兵马也不如周兵雄壮，昨天我退保
滁州城，没想到周军士兵攀墙而上，如飞一般，我
心力交瘁。所以被生擒了。”柴荣一看皇甫晖浑身负伤，很是怜悯，下诏赐给他金带、鞍马，过了几天，皇甫晖因伤势恶化不肯医治而死。
北宋·
司马光《
资治通鉴》“庄宗之克梁也，以魏州牙兵之力；及其亡也，皇甫晖、张破败之乱亦由之。”
北宋·陆游《
南唐书》：“晖独持重，部分甚整，士亦乐为用。周人颇惮之。”
清·
赵翼《廿二史札记》：“刘仁赡、皇甫晖、姚凤皆完节于南唐者。”
皇甫山，古称“曲亭山”、北将军山，位于安徽省滁州市，因皇甫晖在此屯兵而得名。