皇甫绩三岁就成了孤儿，为外祖父
韦孝宽所养育。他曾与诸位表兄下棋，韦孝宽因他懒于学业，用严格的训令来督促他。但可怜他年幼丧父，特别原谅他。皇甫绩叹气说：“我没有父母教训，被外祖父抚育。如不克制自己，自我勉励，怎能成人？”他十分感奋，让别人打他三十棍子。孝宽听说此事，对着他流泪。他于是专心致志，一心向学，于经书史书多有涉猎。
宇文赟还是鲁国公时，推荐他担任侍读。
宇文邕曾避暑于云阳宫，由太子
宇文赟监国。卫刺王在首都作乱，城门已闭，百官都逃走一空，皇甫绩听到后奋勇赴难，遇
宇文赟于玄武门（宇文赟当时在楼上避难），宇文赟特下楼拉着皇甫绩的手，悲喜交集；叛乱平定后，宇文邕听说了他的事情，并嘉奖了他，迁为小宫尹。
宇文赟登基为帝后，猜忌杨坚，杨坚幸得
郑译相助，出任扬州总管。他们走了一些日子了，宇文赟病了，于是与御正下大夫
刘昉商议，带杨坚回京受托。继而郑译宣诏：“文武百官都受隋公节度。”当时，御正中大夫颜之仪与宦官商议，引大将军
宇文仲辅政。宇文仲已到宇文赟宝座跟前，
郑译知道了，马上率领开府杨惠及刘昉、皇甫绩、
柳裘一起入宫。宇文仲与颜之仪见了郑译等人，很惊愕，犹豫一会，想出宫去，杨坚因便抓了他们。于是假传圣旨，又以郑译为内史上大夫。次日，杨坚为丞相，授皇甫绩上开府，转内史中大夫，进封郡公，邑千户。
开皇元年（（581年），左丞相
杨坚篡周建隋，皇甫绩出京任豫州刺史，不久任命他为
都官尚书。几年后，转任晋州刺史。将去做官，跪拜杨坚说：“我实在平庸，又见识浅陋，对国家无益。因此常想冒着危难来报答国家的大恩。南方陈国还在，按我的揣度，有三个条件，可以灭他。”
杨坚问他缘故，皇甫绩回答说：“大国吞并小国，这是一个理由；正义的国家讨伐不正义的国家，这是第二个理由；接纳叛臣
萧岩，对我们来说，就有了攻打它的理由，这是第三个理由。陛下若命勇武的将士（前往征讨），我请求加入军队，出点头发丝那么大的小力。”杨坚嘉奖他的壮志，慰劳他，然后派遣他去。平定陈国后，任命他为苏州刺史。
开皇十年（590年），
高智慧等人在江南造反，苏州州民顾子元发兵响应，高智慧借助他来攻打皇甫绩。双方相持了八十天。顾子元一向感激皇甫绩的恩典，在冬至日，派人送上牛肉和酒。
皇甫绩在给顾子元的信里说：“以前陈朝独自抵抗我朝，江东百姓饱受困苦。好在上天辅助仁德之人，假借我朝之手，进行了一次轻微的讨伐，陈国当时就土崩瓦解。
金陵的百姓，死而复生；吴郡、会稽的臣民，白骨上又生出了肉。你们只应感恩戴德，欢歌庆祝，怎能够自比那些对主人狂叫，并噬咬主人的疯狗？你既然不是我的臣民，何必尽上酒之礼？我是大隋朝的将领，怎容与你外交？即便是遇到易子而食、析骸而爨的惨况，也不应相往来，何况你有足够的粮草兵马，又有高城深沟，你只需坐着等待援兵，对付我就绰绰有余了，何必劳你学着轻薄陈旧的风俗，说些虚伪的话，想阻拦我这个忠臣的心，白白地想迷惑我骁勇将士的大志？想用这些来见到你期待的目的，那是不可能的。你要好好地想想你的活路，并告知百姓，如能早日改变迷惑的心思，那你们在错误的道路上还不算走得太远。”
顾子元得到书信，就在城下叩头认罪。杨素的援兵也到了，合兵打败了叛军。朝廷授皇甫绩为信州总管、都督十二州诸军事。不久皇甫绩因病请求退休，有诏调他回京，并给赐他御药。宫中的使者去拜见慰问他，络绎不绝，后面派的使者能望得见先前派出来的使者。在家中去世，时年五十二岁，谥号为“安”。
杨坚：“我抑屈之，全其命也。微
刘昉、
郑译及贲、柳裘、皇甫绩等，则我不至此。然此等皆反覆子也。当周宣帝时，以无赖得幸，及帝大渐，颜之仪等请以宗王辅政，此辈行诈，顾命于我。我将为治，又欲乱之。故昉谋大逆于前，译为巫蛊于后。如贲之徒，皆不满志。任之则不逊，致之则怨，自难信也，非我弃之。众人见此，或有窃议，谓我薄于功臣，斯不然矣。”
《隋书》：“高祖肇基王业，昉、译实启其谋，当轴执钧，物无异论。不能忘身急病，以义断恩，方乃虑难求全，偷安怀禄。暨夫帝迁明德，义非简在，
盐梅之寄，自有攸归。言追昔款，内怀
觖望，耻居吴、耿之末，羞与绛、灌为伍。事君尽礼，既阙于宿心，不爱其亲，遽彰于物议。其在周也，靡忠贞之节，其奉隋也，愧竭命之诚。非义掩其前功，畜怨兴其后衅，而望不陷刑辟，保贵全生，难矣。柳裘、皇甫绩、卢贲，因人成事，协规不二，大运光启，莫参枢要。斯固在人欲其悦己，在我欲其骂人，理自然也。”