方伯谦祖上是河南人，先辈随王审知入闽，先居于今天的闽侯上街庄前村，后搬入福州，住过白塔寺后的太平街再搬入观巷。1885年方伯谦升任济远舰管带（舰长）时，从木柴商人刘寿作手中买下，重建后将全家搬进去。

方伯谦故居位于福州市鼓楼区朱紫坊河沿东端，建于清初，嘉庆至光绪间重修。坐南朝北，四面围墙，主要建筑三进。大门前面有照墙立于河沿，大门口是“明三暗五”门头房。入石框大门，三面环廊，廊下有天井。第一进厅堂面阔五间，进深七柱，抬梁式扛梁减柱木构架，双坡顶，木柱特大，石板平整，正面厅堂，两侧厢房，门扇、窗槛、花格皆楠木制成，雕刻精美。二进前厅正面挂有双龙贴金“诰封盒”。厅前后都有天井，天井两侧是披榭。第三进为双层楼房，上为藏书阁，下为课读的地方。东侧有花厅，原有鱼池，花圃已改建为住房。进与进之间有围墙相隔，过道以覆龟亭联接。

方伯谦的起居室，还陈列着他当年用过的的家具。这是一间宽大的长卧室，精雕细刻楠木门窗，嵌着白色大理石台面的紫檀木写字台，雕花的西式大铁床，精致的四斗橱，依然鲜亮的衣架和书架。房间的用品告诉人们，百多年前的故居主人是一位生活品位极高的人。这些老家具今天看过去依旧很时髦，方家人一直在用。