黄谦，字亨夫，福建莆田人，祖父黄九皋，任卫尉，父亲黄丸夫，任过知县，黄谦就出生在这样一个书香门第的家庭之中。

黄谦自幼聪明颖悟，不苟嬉笑玩乐。年方十六，即补郡秀才。平时，喜作新诗，而且多奇词巧句。许多先辈、诗家读到他的作品，“咸惊异之”，以为奇才。嘉靖癸卯年（1543）首考获省试第三名。庚戌年（1560）登进士第，授宣城县令。

在宣城任上,他以爱民重士为己任,治政从不求苛细。乡下村民到县衙投牒告状,他都即刻查议办理,从不随意拖延时日,而且断案公正,宣城百姓因此十分敬重他。

数年后，黄谦升任户科给事中。当时，嘉靖皇帝荒于朝政，长期不理朝事，不见朝臣，一味信道修炼，闹得天下一片混乱。北方的俺答乘机率兵侵扰攻伐，到处烧杀劫掠，边境之民深受其害，而明军边防松弛，一触即溃。黄谦针对此情，连上三疏，细陈边储三事，请求免除边境灾民连年来拖欠的数万石租粮，以巩固边境的安定。奏疏所列数项建言，后来，全得恩准实行。几年后，他再升刑科右给事中，又接连上疏，弹劾纠正种种积弊，一点也无所避忌。当时，严嵩刚夺取首辅之位，大肆结党营私，培植爪牙，打击忠良，闹得朝野一片乌烟瘴气。

当时，东南沿海倭人不断发动侵扰，狼烟四起，警报如雪片般地飞到朝廷，嘉靖帝诏命南京兵部尚书张经率兵剿倭。而严嵩却派死党赵文华到江浙担任通政使。赵文华一到任，就依仗严嵩的威势，一面诬告陷害张经，一面又依持手中权势，作威作福，乘机渔利，巧立名目，大肆勒索，克扣前线将吏的饷银，中饱私囊。数省郎官联名上疏，控告揭发赵文华劣迹。黄谦也在奏疏上署名支持，严嵩因此怨恨他，但是，找不到罪名。后来，刚好有个叫李默的太宰因为慷直冒犯严嵩，严嵩就嗾使赵文华上疏诬告李默，并将李默下狱治罪，又趁机大规模贬逐朝中大臣，黄谦也在贬逐之列。黄谦闻讯，坦然仰天大笑，说：“古灾异策免三公，今乃以黄门郎当之邪？吾因李公免，亡恨矣。”于是弃官都门。

黄谦回家后，以文、酒自娱，或艺蔬于田间，或读书于庭院，没有一点失落之态。后来，还与致仕在家的给事中方万有、参议郑光琬等人共结诗社，互相唱酬。

家乡河渠多，但因年久失修，往往堙废。黄谦亲自上府县告白当道，拨款疏浚，广蓄水源。这样，既可便利农田灌溉，又可方便水上运输，一举两得。邻近的卅六乡百姓大得其利，都十分感激他，特地在河边建立祠堂纪念他。其后，他又积极与地方官员商讨地方盐政，筹划海警等事务。

当时，有官田，有民田之分，而官府征收的田赋却不相同，官田轻，而民田重，老百姓的农田常常被课以重税，黄谦得知实情，又向府县官员力倡实行官民均等交赋之法，以稳定民心，终于得到实行。诸如此类的公益之事，还有很多，凡是有利于老百姓的事，他都鼎力促成它。

黄谦平生好诗文，著有《万玉山藏稿》十六卷，行于世。万历辛卯年（1591）去世，享年七十三岁。