汉安帝元初四年（公元117年），夏，中郎将
尹就由于平定益州境内的
羌人起义不力，被征召罢免，朝廷命时任益州刺史的张乔统领尹就的军队。张乔接受平叛任务后，采用安抚劝诱的办法平定叛乱的羌人，叛羌由此逐渐离散。
汉顺帝永和二年（公元137年），交阯
日南郡象林县的少数民族领袖区怜等起兵反汉。翌年，叛乱仍未平息，大将军从事中郎
李固以张乔曾在益州平羌的功勋，建议起用他为交阯刺史。翌年，张乔到任，与九真太守
祝良采取怀柔政策，平息了叛乱。
永和六年（公元141年），春，由于征讨陇右叛羌的主帅
马贤在与叛羌的战役中不幸战死，汉军大受打击，与此同时，内附的东羌与塞外的西羌出现了大融合，叛羌的声势达到顶峰。到了秋天，羌人各部落又集结了八九千骑兵进犯
武威郡，整个凉州地区的人民都震恐不安。朝廷于是再一次把
安定郡的官府内迁到了
右扶风，把
北地郡的官府迁到了
左冯翊，同时命张乔代行车骑将军、执金吾的职权，率领左右羽林军、西园五校军士以及河内、南阳、汝南三郡的屯兵驻守三辅地区，以备不测。
汉安元年（公元142年），新任的护羌校尉
赵冲成功招安叛羌各部，罕种羌五千多户投降了他。自此，叛羌的声势逐渐被压下，于是朝廷撤回了张乔的部队。