2020年6月9日，渡部建在其主持的直播节目《Hirunandesu》中，主动提出暂停主持节目等所有工作，原因是出现了丑闻；6月10日，其所属事务所“人力舍”就渡部一事发表正式声明，称暂时停止渡部建的演艺活动。
2017年4月9日，渡部建和
佐佐木希联名通过事务所公布了结婚的消息，在当日的日本台综艺节目《行列法律相谈所》直播中，他还与佐佐木希通电话，称求婚情话是“必须活得久”，观众赞两人很有爱。
2018年2月28日，佐佐木希在社交平台上向粉丝们公布怀孕的喜讯；同年9月13日，其与妻子佐佐木希的儿子出生。2022年11月17日，妻子佐佐木希官宣怀二胎。2023年4月27日，据日媒，渡部建妻子佐佐木希晒出两颗爱心宣布二胎得子。
2020年6月9日，渡部建在其主持的直播节目中主动提出暂停主持节目等所有工作，原因是出现了丑闻。6月10日，渡部建被曝与多名女性不伦还和AV女优密会，其出轨对象除了AV女优外，还包括普通公司职员、女歌手，他至少同时劈腿6女。据悉，渡部建在与佐佐木希交往时就同时还和多名女性保持关系，在结婚后及长男出生后，他的生活态度也并没有改变。随后，他本人通过事务所向大众承认出轨事实并道歉，称已经向妻子说明并且谢罪，其所属事务所也宣布暂时停止渡部建的演艺活动。9月25日，渡部建主持的广播节目《GOLD RUSH》迎来最终回。
2024年8月，日媒曝日本女星
佐佐木希定制66万日币（约3.2万人民币）的珠宝耳环却不付款，直到警方介入夫妻俩才火速道歉，消息曝光后引发外界关注。