出自紫堤东族侯氏，为当地望族，族人曾出资修建关帝庙、上谷东族宗祠等。先祖姓杨，原籍山西上谷，历代做官。北宋靖康之难时随康王南渡，曾居临安（今杭州）、乌泥径、真如，后定居紫堤村（今上海诸翟镇）。明代初传代至杨文昌，因中表兄弟侯守常无子女，曾抚外甥徐端为子，一传而绝，故杨文昌将其子杨彦昇再过继给侯守常为嗣，改姓后即侯彦昇。
侯侯岷曾的曾祖
侯尧封（字钦之，号复吾）为侯彦昇的玄孙，隆庆五年（1571年）辛未科进士（二甲第七十四名），曾担任监察御史。
《万历三十八年庚戌科序齿录》：治《易经》，年三十四岁中式万历三十八年庚戌科第三甲第二百三十名进士。丙子十二月初八日生，行二，曾祖侯廷用，赠湖广按察司佥事；祖侯尧封，辛未进士四川道御史□□□□□□致仕；父侯孔诏，贡士□□□郎行人司行人；母陈氏。具庆下，妻龚氏，弟万里（庠生）；万锺（己酉经魁）；万家（庠生）；履旸；恒旸（庠生），子峒曾（戊午解元）；岷曾（庠生□）；岐曾（府学生）。由学生中式甲午乡试五十名举人，会试中式一百六十二名。授通政司观政司观政，受行人司行人，戊午七月行取。