弘治九年（1496年）初，守备南京的
成国公朱仪逝世。同年闰三月，明孝宗命徐俌接任
南京守备，并掌南京
中军都督府事。南京守备地位尊崇，但在徐俌接任时，协同守备、怀柔伯施鉴却位在他之上。徐俌深感不平，向朝廷控诉，孝宗遂下诏，规定南京诸守备勋臣以爵位高低为次序。
弘治十二年（1499年），
给事中胡易、
御史胡献借
灾异上疏触怒明孝宗，被下狱贬谪。徐俌闻讯，自南京上章，请求宽赦二人。
弘治十三年（1500年）七月，徐俌因发生
灾异，请求辞去守备之官，孝宗允准，仍命其掌南京中军都督府事。十二月，又请辞军职，请求“专奉孝陵祭祀”，孝宗仅命其改掌南京左军都督府事。
正德五年（1510年），徐俌再次以年老为由请辞官任，
明武宗因他是世臣勋旧、“公廉著闻”，故而不允辞官，特地加授为
太子太傅，以示优眷之意。
正德六年（1511年）九月，南京守备、成国公
朱辅告老。十月，明武宗命徐俌再次出任南京守备，兼掌南京中军都督府事。
正德（1505年—1521年）年间，武宗喜好游猎，徐俌上疏劝谏，言辞
切直。
正德十二年七月十二日（1517年7月30日），徐俌在南京病逝，享年六十八岁。武宗闻讣讯，赠其家布、粟等助丧物，依例赐
祭葬，追赠他为光禄大夫、右柱国、
太傅，
谥号“庄靖”（明《
谥法》称：威而不猛曰庄，宽乐令终曰靖）。十二月二十日，徐俌葬于南京钟山父祖墓旁。
徐俌先后历官五十年，最以孝著称，持身廉慎，进退揖让，皆有法度。即使面对权贵，亦神气刚严，未曾稍有贬损，旁人无不敬畏。两次出任
南京守备，受官民爱戴。
朱祐樘：卿职司留务，效劳有年。（《大明孝宗敬皇帝实录》引）
杨廷和：俌性最孝，持身廉慎。处权贵气刚严，不少抑，见者莫不畏惮之。但忌言凶变，有以
禨祥绐之者，气即索矣。（《大明武宗毅皇帝实录》）
王世贞：凡再督南京守备，持重，善为容，南中士民熟称之。（《中山王世家》）
徐俌的五世祖
徐达为
明朝开国第一功臣，受封
魏国公，子孙世代传袭，是
嘉靖（1522年—1566年）年间以后仅存的五公爵之一，共历十世十一代，至明亡而绝。
第一代：
徐达，
吴元年（1367年）封信国公。明
洪武三年（1370年），进封魏国公，食禄五千石，子孙世袭。洪武十八年（1385年）去世，追封中山王，
谥号“武宁”。
第二代：
徐辉祖，徐达长子，洪武二十一年（1388年）袭爵。明成祖即位后削爵禁锢。
永乐五年（1407年）去世。
弘光元年（1645年）追赠
太师，谥号“忠贞”。
第三代：
徐钦，徐辉祖之子，永乐五年（1407年）袭爵。永乐十九年（1421年）削爵。永乐二十二年（1424年）复爵，同年去世。
第九代：
徐维志，徐邦瑞之子，万历十七年（1589年）袭爵。万历二十一年（1593年）去世。
徐俌墓位于
江苏省南京市玄武区太平门外
板仓街（墓葬考古编号为徐达家族墓M4、M5），为夫妻合葬墓，他的夫人朱氏、王氏也葬于此。