开皇十年(590年),沈玄懀、
高智慧等在江南发起叛乱,
杨素因鱼俱罗英勇善战,便请他随军出征。鱼俱罗每次作战都立下战功,加授上开府、高唐县公、
叠州总管。后因母亲病逝辞职回家为母守孝。等他回家走到
扶风郡时,正巧遇到杨素率军去灵州道打击来犯的
突厥人,杨素见到鱼俱罗非常高兴,便上奏要求鱼俱罗随军出征。后杨素大军与突厥军遭遇,鱼俱罗率领数名骑兵突击,鱼俱罗怒目圆睁,大声呼喊,所向披靡,左冲右突,往返如飞。鱼俱罗因对突厥作战有功,升任
柱国,拜授丰州总管。
隋炀帝在为藩王时,鱼俱罗的弟弟
鱼赞,跟随在隋炀帝左右,累次升迁至大都督。隋炀帝继位后,拜授鱼赞为
车骑将军。鱼赞生性凶残,虐待其部下,令左右
炙肉,碰上不中意,就用竹签刺瞎眼睛。有温酒而温度不合适的,立即割断人家的舌头。隋炀帝因鱼赞是自己在藩国时的旧交,不忍心杀他,就对近臣们说:“弟弟既然如此,兄长也可想见。”因而召来鱼俱罗,责备他,把鱼赞从牢里放出来,让他带回去自己处理。鱼赞回到家里,喝毒药自杀。隋炀帝恐鱼俱罗心中不安,怕他生起边患,于是调任他为安州刺史。一年后,又调任赵郡太守。
后来,鱼俱罗入朝拜见隋炀帝,与大臣们相聚。鱼俱罗到了东都洛阳,与将军梁伯隐有旧交,二人于是数次来往。鱼俱罗从赵郡带回许多杂物,献给隋炀帝。隋炀帝不要,他就转送给权贵们。御史弹劾鱼俱罗以郡将身份交结朝中大臣。隋炀帝大怒,鱼俱罗与梁伯隐都坐罪除名。
不久,
越巂郡的
飞山蛮造反作乱,侵略郡里。朝廷下诏让鱼俱罗以白衣身份权作将军,并率
蜀郡都尉段钟葵讨平叛军。
当时百姓思乱,从盗如市。鱼俱罗进攻叛军头目
朱燮、
管崇等,战无不胜。但叛军势力蔓延开来,越来越大,打败他们,他们又聚集拢来。鱼俱罗认为,叛军不是一年半载可以平定的,自己的几个儿子都在京师长安和洛阳,又见天下渐渐大乱,担心以后道路隔绝,父子难以再见。恰逢东都洛阳闹饥荒,粮价飞涨,鱼俱罗于是派家奴用船把米运到东都卖了,又买来财货,偷偷地接回几个儿子。朝廷略知此事,怕他有异心,便派使者去调查。使者前后察问,找不到罪证。炀帝又令
大理司直梁敬真将他抓起来,送到东都。
鱼俱罗相貌异于常人,眼睛里各有两个瞳孔,在古代被认为是帝王之像,被隋炀帝暗中猜忌。梁敬真揣摩圣旨,上告鱼俱罗的部队白白地打败仗,于是在东都街市斩首鱼俱罗,其家财被登记没收。
在小说《兴唐传》中,鱼俱罗是“兴隋九老”之一,因不满隋炀帝荒淫而回家隐居。晚年,大徒弟
宇文成都被
李元霸锤杀。在二徒弟
宋老生唆使下,再度出山报仇。老当益壮,在
潼关阵前施展
拖刀计,斩杀李元霸。本人在如愿以偿的同时,内心疏忽,被秦王
李世民一箭射死。