在孙诒让28岁那年(光绪元年1875)，孙家在瑞安县城的一所宅院邵屿寓庐落成。

邵屿寓庐坐北朝南，位于公园路南，西侧是条小巷。过去路的南侧有条小河，小河经过屋后汇入护城河。一条石板小桥横跨小河，将公园路和小巷连接起来。小桥称宋都桥，巷内镇有太平石，便称小巷为太平石，环境异常清幽。

现在的故居已没了过去那般清幽的景致，河堵塞了，小桥拆了，新建的教学楼代替了一巷之隔的忠义庙。现在的忠义街正处在改建工程的密锣紧鼓之中，街上那些白墙黛瓦、飞翘的檐角不见了，换来的是一些大宅院被拆后遗留下来的破瓦残砖。

邵屿寓庐不仅是孙衣言和孙诒让父子俩曾居住过的地方，而且还是“诒善祠塾”的旧址。在孙衣言致仕的第二年，即光绪六年(1880) ，孙衣言创设诒善祠塾于孙氏宅院内。孙衣言创设诒善祠塾旨在启迪后人，并亲笔题书“诒善祠塾”匾额和“务求知古如君举，尤喜能文似水心”的楹联于后罩房的大门上。

故居是座传统的二进合院式建筑，跨进院门，眼前是一座单檐平屋，一楹五间的正屋。正屋的屋脊两端挺拔的卷草吻和高耸的五花马头墙，特别醒目。明、次三间前设有内廊，廊道不很宽，廊轩置半坡顶，轩梁用琴面月梁，在月梁和檐檩交接处置有精致的枫拱。檐柱用株树圆柱，柱头科做成一翘斗拱，拱头置南瓜垂花柱，垂花柱两侧置透雕云板。步入正堂，高挺的穿斗式梁架结构，使正堂显得开敞高畅。梁架上的月梁以及露明木构件上都作了许多精致的雕饰。

门前空旷的天井两旁放着一些盆养花木，三合土的地面已是坑坑洼洼。青砖铺设的正堂地面也已伤痕累累，大多像被硬器破坏过，走上去砰砰作响。

正屋后面又是一个天井，天井两侧是对称的一楹三间轩房，北头是一楹五间的后罩房。它们一律单檐平屋，穿斗式梁架，和正屋连檐构筑。与正屋形成一处封闭性四合式的院落。这种空间布局具有很强的层次感，从街道进入小巷，再走进前院，然后过厅堂走进四合院，人们的视感序列从公开性逐渐向半公开、私密性延伸；从袒露的喧闹公开空间向幽密、含蓄宁静的私人宅室延伸。