宣德七年（1432年），升任司礼监的奉御，并且充当太子
朱祁镇的伴读。
天顺元年（1457年），囚禁在南宫的明英宗朱祁镇发动“
夺门之变”复辟皇位，因为有着拥戴明英宗复位的功劳，升任司礼监掌印太监，并赏赐
蟒衣、玉带、貂裘，岁加禄米，负责管理内外呈报皇帝的文书。
天顺五年（1461年），“
曹石之变”图谋叛乱，
曹钦带兵攻打皇宫大门。牛玉凭借参加歼灭叛乱的功劳，赏赐金币等物以及河西务马房、羊房、庄田二千余顷，但他却辞谢没有接受。
弘治六年（1493年），上奏书乞求能回归家乡养老。明孝宗
朱佑樘念在往日的功劳，优待并且特许回乡养老，并且赐给仆人。