皇甫俞义祖上世系不明,但可以肯定的是他出身高丽王朝功臣世家,“父、祖有勋劳于国”。
高丽穆宗时累官1009年正月,因千秋太后和
金致阳图谋篡位,高丽穆宗欲立在神穴寺中为僧的
王询为储,在
蔡忠顺、
崔沆的推荐下,派宣徽判官皇甫俞义等10人带着密诏去神穴寺接王询。
与此同时,穆宗还命西北面都巡检使
康兆入卫,不料康兆入京后不仅除掉了金致阳一党,连穆宗也一起废黜。康兆还派分司监察御史金应仁去神穴寺迎立王询,二月二日,穆宗所派的皇甫俞义和康兆所派的金应仁在神穴寺会合,王询一行抵达开京,即位于延宠殿,康兆成为权臣,皇甫俞义投靠了康兆,并被派去抵御辽军。
其后历任殿中侍御史、吏部郎中。1014年,高丽之前为了防范契丹,扩充军队,耗尽财力,导致百官俸禄不足。皇甫俞义和中枢院使张延祐建议夺取京军的永业田用作文官的俸禄。上将军金训、崔质等一直因文武差别待遇而愤愤不平,便在开泰三年(1014年)十一月初一发动兵变,冲入宫中,抓走张延祐、皇甫俞义,并当面向王询控诉。王询无奈,下令流放张延祐、皇甫俞义,然后批准武臣带文官衔。
高丽德宗即位后,在对契丹态度上,宰相王可道主张绝交,中枢使皇甫俞义等33人主张妥协,高丽德宗采用了王可道的主张。
高丽靖宗王亨在位时,强硬派领袖王可道死后,皇甫俞义任门下侍郞,开始掌权,便逐渐找台阶来缓和对契丹的关系。最后两国恢复宗藩关系,一直延续到金灭辽时。
李齐贤:契丹贪暴,不足保信,太祖深以为戒;然而幸其一灾而弃旧好,亦非计也。显宗艰难反正,日不暇给,德宗未及方刚之年,尤宜戒之在斗,王可道议绝和亲,不若皇甫俞义继好息民之论也。