黄开榜自幼略识文字,体魄健壮,性极彪悍。少时随人当差役到
武昌,适逢
湘军名将
塔齐布招募
乡勇,黄开榜应募入塔齐布部下当兵,攻击太平军,转战
武昌、
汉阳、
黄州、
蕲州,累擢至
都司。
咸丰九年(1859)正月,黄开榜和豫军攻破
颍上南照集敌巢,率水师攻打
蚌埠、
长淮卫,大战七昼夜,获敌船百余艘,毙敌千馀,又焚敌舟粮,破坏
怀远水路诸卡,毁坏文昌阁敌堡,杀敌甚众,赐号勤勇
巴图鲁。黄开榜会同诸军击退援军,直抵怀远城下,捷足先登,收复怀远,擢
副将。
咸丰十年(1860),
袁甲三围攻
凤阳,黄开榜会攻
炉桥,捻军首领
张乐行来援,黄开榜会同诸军夹击破之。敌将邓正明私下请降,探查府城虚实,黄开榜请求聚师城外,示以兵威。
总兵张得胜诱擒敌将张隆,令缚献敌将十四人,
磔刑于市。黄开榜割取张隆的首级,拿给城中敌军看,敌军缚献其首领请求投降,诛悍者三百余人,其余的遣散归业。黄开榜功劳第一,以
总兵记名。和总兵
田在田等破敌于王家营,收复并驻防
清江浦。
江南大营奔溃,降将薛成良发生叛乱,遁入
邵伯湖,黄开榜和副将刘成元等击破敌船三百余艘,歼敌殆尽,薛成良投水自杀。加
提督衔,授
江西九江镇总兵。
同治二年(1863),攻克长城敌堡,收抚附近诸墟。破郜家花园、孙甿敌巢,以提督记名。
太平军渡江北犯,黄开榜扼守
高邮,太平军掠船渡湖,进犯天长,黄开榜前往救援,焚烧敌筏,驻军于堤上。太平军列阵据守,黄开榜令副将龚云福由陆路迎击,参将陈浚家率炮船悄悄从小河口出发,转战而前,与长城兵夹击,破敌于
三汊河,天长之围解除。提督
杨岳斌收复
江浦、
浦口,黄开榜攻破
七里洲敌堡,焚船六十余艘。参与攻克九洑洲。黄开榜奉命调赴
临淮,和总兵
普承尧平七里河岸敌堡。