黄维翰自幼习文诵诗，博览群书，常借抄别人的书本作学习之用。稍长，通经史，工诗文，清
光绪二十年（1894）乡试
中举，次年中
进士，任兵部职方司主事，候补直隶州知州。在京期间，喜好结交有志之士，议论古今中外经世方略。在署衙中，精研案牍，对兵事边防、舆地、财赋等必探其渊源，究其变化规律和发展趋势，将自己的心得及变革之要点上书部章京，遂知名于朝。三十二（1906）年，随直隶总督
袁世凯检阅
北洋新军。三十三年，内阁协办大学士徐世昌总督东三省（今
辽宁、吉林、
黑龙江）时，乃奏调黄维翰到沈阳，委为署（即署理，代理职务）陆军督练公所参议。不久，黑龙江巡抚又将其调任呼兰知府兼办呼兰税局。到任后，在其任职不足三年的时间里，他以兵法训练约束
巡警，迅速肃清境内盗匪，稳定社会治安。又废苛捐，减租赋，鼓励人民屯垦开荒，注重对土地、河流的开发和利用，使呼兰地区经济得到了迅速发展。建习艺厚生诸局，创设中学1所、小学20余所，男女学生多达1300余人。另设宏文学社，常亲授生徒，捐俸
奖励优秀生。
呼兰府滨临松花江，南接
哈尔滨，
日本和
沙俄侨民以及倚仗外人势力的教徒，在境内胡作非为。沙俄船只公然违背条约，闯入松花江和呼兰内河，寻衅闹事。为维护国家尊严和民族利益，黄维翰不顾个人安危，顶住压力，依法严惩肇事的侨民和教民，禁止国人出入日本浪人开设的赌馆， 毅然断绝鸦片，还有如拒洋人入境测量矿产、禁止外船在内河航行等，处理涉外事件不失国格人格，讲究
策略，措施得当，“东北舆论，交相称许”，因政绩受到清廷嘉奖。
宣统二年（1910），调任署龙江府（府治在省城齐齐哈尔），兼省会警务公所总办。呼兰士民吁留不得，念其家境清贫，馈赠数千金，被他拒绝。离任时，送行者甚众，有的一直送到哈尔滨。后将赠别诗文汇刻为《兰河惜别集》，今已难得。到任后，他与民政司使赵渊通力合作，严厉打击赌博、吸食鸦片等劣行，措施有力，成果显著。时嫩江洪灾，他创办常平仓，平粜数万石米赈灾；饥民中流行鼠疫，他自任省城防疫会长，集中医务人员救治，使疫情及时得到控制。黄维翰再次受到清廷嘉奖。三年，他的房考师、顶头上司巡抚周树模的弟弟触犯警律，他依法给予惩处。周树模大怒，将他参劾罢官。
民国三年（1914年），应黑龙江督军朱子樵聘，黄维翰主持《黑龙江通志》纂修局务，纂修已停顿多年的《黑龙江通志》。不二年，修志因故又告中辍。黄复去北京，读书自遣。1919年，被聘为国史编纂处编纂主任。被礼制编纂会、国立编译馆和《东三省盐法新志》、《江西通志》、《吉林县志》诸局聘为编修。1929年，万福麟任黑龙江省政府主席，重设黑龙江通志局，再聘他为纂修。黄维翰负责纂修《地理志》，仅成唐代的前部分，突而中风，延至次年6月，不治而殁。黄家家道窘困，无以成殓，龙江志局旧友涂子厚为之经理后事，并筹资送其家眷归里。
黄维翰文章笔力
雄健，论证严密；诗歌关注现实，动人心弦。著述颇丰，先后编纂成《统计》29册，《政府年表》、《各省军政、民政长官表》共3册，列传若干篇，《武昌起义纪事始末》1册，《黑水先民传》25卷，《蒙服志》1卷，《渤海国记》3卷，《呼兰府志》12卷，《吉林县志》目录1卷，《历代名人生年表》2卷，《稼溪诗草》4卷，《稼溪文存》2卷等。另有未完稿：《豫章姓系》、《江西历代地理志》、《江西疆域志》、《江西名人传略》、《豫章大事记》、《抚州先贤传略》等不下数十万字。其纂修的《呼兰府志》（编纂于1908年），是哈尔滨地区最早的一部地方志，它不仅弥补了“黑龙江省旧无省府县志”之空白，而且开创了全省编纂府县志之先河，对黑龙江及东北后来方志的编纂产生较大影响。《呼兰府志》、《黑水先民传》与《渤海国记》三部著作中的开创性、注重调查研究的方法及经世致用思想，奠定了黄维翰在学术界的地位，从而使他成为继曹廷杰之后官员兼学者的典型代表。此三部著作，上承曹廷杰之作，下启《黑龙江志稿》等省府州县志诸作，是研究黑龙江历史、民族与文化不可或缺的珍贵文献。