神爵元年（前61年），
汉宣帝调发
三辅、
太常地区的犯人免去监禁，编为部队，三川郡、颍川郡、沛郡、淮阳郡、汝南郡的军官，金城郡、陇西郡、天水郡、安定郡、北地郡、上郡等地骑兵，与武威郡、张掖郡、酒泉太守驻守各自郡县，共计六万人，命令后将军
赵充国率领进剿诸
羌人部落。赵充国抵达
西部都尉府（治所在今甘肃省玉门市）后，力主招抚
先零等诸羌人。时任酒泉太守辛武贤上奏说：“各郡的部队都驻守
南山，北边空虚，这种形势不能长久。有人说，秋冬季节再进军，这是敌人在境外的策略。现在敌人不时侵犯，边境寒冷艰苦，汉军的马匹无法过冬，驻守在武威、张掖、酒泉的部队超过一万人马，大多
瘦弱。可以增加马的口粮，在七月上旬带三十天的粮食，从张掖、酒泉分兵同出，一同攻击在
鲜水上的罕羌、秆羌等诸羌。敌人视牲畜如命，现在都被冲散，军队如果分几路出发，即使不能把敌人全部消灭，但是可以夺取敌人的牲畜，俘虏他们的妻子儿女，然后退兵返回，冬季再进攻他们，大军频频出动，敌人一定震动瓦解。”
汉宣帝把辛武贤的上书交给赵充国，让他与了解羌人情况的校尉及士兵广泛讨论。赵充国与长史董通年认为：“辛武贤想带领一万轻骑兵，从张掖分两路出发，道路迂回达千里之远。让一匹马驮着骑士与马三十天的口粮，即二斛四斗米，八斛麦子，又有衣服装备武器，很难追击敌人。部队劳苦来到，敌人一定能预计到部队的行动，稍微退去，追随水草，逃入山林。如果追随敌人深入山林，他们就占据前方的险要，切断后方的咽喉，断绝粮道，我军一定会陷入危险境地，被野蛮人耻笑，一千年也不能平复。辛武贤认为可以夺取敌人的畜产，俘虏他们的妻子儿女，这只怕是空话，不是最好的计策。另外武威县、张掖郡的日勒县都正对着北边要塞，有贯通的山谷和水草。我担心匈奴与羌人有阴谋，将要大规模进犯，妄想占据张掖、酒泉，断绝西域通道，因此，张掖、酒泉的地方部队尤其不可调动。先零是首先开始叛逆的，其他部族是被挟持的。所以我们的不高明的计策是：捐弃罕、秆诸羌愚昧糊涂的过错，隐忍不张扬，先对先零进行诛伐，来震动罕、秆诸羌，他们必然会悔过，重归善良，从而赦免他们的罪行，选择懂得他们习俗的好官员调理安抚，这是保全军队稳操胜券安定边防的策略。”汉宣帝把这道上书交给百官讨论，参加讨论的公卿都认为，先零兵力强盛，又恃仗罕、秆诸羌的援助，不先打败罕、秆诸羌，就不可能图谋先零。同年六月，汉宣帝任命侍中、乐成侯
许延寿为
强弩将军，派使者到酒泉，持节任命辛武贤为破羌将军，赐给
玺书，并采纳他的计策。让辛武贤与许延寿、赵充国率军合讨罕羌、秆羌，并命赵充国从速进兵。
赵充国又一次上书，再陈利害，仍主张先平
先零，再降服罕羌。不久，引军到先零的赵充国不幸染病，汉宣帝命辛武贤为副，约期冬季进剿
先零。此前，先零羌人陆续降服一万多人，赵充国仍主张招抚并上
屯田奏议，陈述罢兵屯田的十二条好处，得到汉宣布同意。可是，辛武贤、许延寿依旧主张进击。汉宣帝不忍否定其奏议，决定抚剿并用，命许延寿、辛武贤和右曹中郎将
赵卬会师进剿。结果，他们分兵南出，越过
祁连山，在
理水合击罕羌，辛武贤和赵印各斩杀、收降羌人二千多名，许延寿降获四千多人，唯独赵充国没有进兵，反而收降五千多人。
神爵二年（前60年），设置
金城属国。赵充国振师凯旋后，辛武贤不再担任破羌将军，归任酒泉太守，但他和赵充国的矛盾仍在持续。他想举荐弟弟辛汤出任
护羌校尉，但赵充国以辛汤贪杯为由反对，改举荐辛汤之兄辛临众。另一方面，辛武贤对赵充国将自己打原任很不满，便告发赵充国儿子
赵卬曾在酒宴上泄露宫中机密，导致赵卬下吏自杀。后移拜
西河郡（今内蒙古
杭锦旗）太守。
甘露元年（前53年），西域
乌孙国内乱，
乌就屠杀害
昆弥（乌孙王号）狂王
泥靡，自立为乌孙昆弥。辛武贤再次受任破羌将军，率领一万五千名士兵到敦煌，派使者按照行军计划，穿越到卑鞮侯井以西，打算打通沟渠，传送粮食，积累成临时性粮仓，以便攻打乌就屠。由于
冯嫽的调停，乌孙问题得到和平解决，分为大、小昆弥，于是辛武贤没有出塞就罢兵。据
悬泉汉简记载，辛武贤于甘露元年（前53年）十一月准备粮草，甘露二年（前52年）正月，率军抵达敦煌，至少到当年四月，辛武贤还在破羌将军任上，驻屯敦煌郡。罢兵以后，事迹不详。
据敦煌文献《
沙州都督府图经》载，唐时，敦煌境内有三大湖泊，其一大井泽，距城北十五里。 此乃汉朝辛武贤穿井凿渠后渐变而成。 该湖东西长三十里，南北宽二十里，为唐时一大景观。