奕世尚书坊仿木结构，三间四柱五楼，高约10米，宽约9米。主体结构由四根立柱、四根定盘枋和七根额枋组成。整体结构用侧角做法，向内收敛。四大柱子抹去棱角。南北两向，各有抱鼓石护之。坊顶为歇山式，用茶园石石板雕凿而成，由斗拱支撑并挑檐。各正脊两端，鳌鱼对峙，明间正脊中置火焰珠。主楼正中装置斜式“恩荣”匾，匾之四周盘以双龙戏珠纹。四根定盘枋起线两道，再饰以莲瓣纹。梁柱接点处用花牙子雀替装饰。额枋图案采用浮雕、镂刻、圆雕等工艺，刻划成鹍鹏展翅、仙鹤腾飞、太狮滚球、双龙戏珠等画面。北向中额枋的画面为山、水、亭、台、楼、阁、榭、桥；文武百官，各行其好，或弈林决雄，或书海探宝，或独钓河畔，或互论阴阳。奕世尚书坊为户部尚书
胡富、兵部尚书
胡宗宪而立。
胡炳衡宅占地面积约180平方米，主人为徽商
胡炳衡，其子
胡增钰，其孙
胡锦涛同志。胡炳衡宅坐北朝南偏东5度，硬山屋顶，砖木结构，前厅后室，四围封砌马头墙建筑法式。前厅为前后两部分，前部分东、西两次间各设房间一个；后部分敞开，不设楼。后室为三层楼三开间，前檐有一天井。室内撑拱、雀替等木构件雕饰精美，是典型的徽派住宅。该宅从建筑格调来看，当属清代中后期建筑。
奕世尚书坊南北两面，分别镌书“奕世尚书”和“奕世宫保”，为明代书法大家
文征明手书。南向大额枋镂鲲鹏展翅，中额枋为仙鹤飞翔，小额枋为双狮滚球与双龙衔珠。北向大额枋镂双龙戏珠，中小额枋刻山水人物、亭台楼阁。两边间大小额坊有雄狮、麒麟、鹦鹉、天鹅等雕刻。
胡富，字永年，成化戊戌科进士。任官间，“遇事果敢，执法尤坚” 。后告老还乡。胡宗宪，字汝贞，号梅林，谥号襄懋。嘉靖戊戌科进士。任官间，恰适倭寇猖獗，宗宪“运筹帷幄，辑剿兼施，率之刈群凶。海内静溢，厥功至伟”。
胡炳衡，徽商，祖孙四代，在江苏三泰地区开辟茶商贸易，历百余年商海沧桑，几经劫难与复兴，先后开设茶庄、茶栈。抗战以后，店业相继转营到上海等地，直到中华人民共和国成立后公私合营。
2013年3月5日，奕世尚书坊和胡炳衡宅被中华人民共和国国务院公布为
第七批全国重点文物保护单位。