东汉末正一道系师张鲁于汉中建立政教合一政权时，李特曾祖父移入汉中。曹操定汉中，李特祖父李虎率族人北上，定居
略阳北土，复号巴氐。李特的父亲李慕，为东羌猎将。
李特兄弟五人，皆锐骁有武干。李特自祖父李虎以来，世代簮缨，为略阳巴氐人中的
望族，因而能率领巴氐賨人入蜀就食。
《
华阳国志.卷九.李特雄期寿势志》：汉末，
张鲁居汉中，...。魏武（曹操）定汉中，祖父虎（李虎）与
杜濩、
朴胡、袁约、杨车、李黑等移于略阳，北土复号曰“巴人”。......。永兴元年冬十月，杨褒、杨珪共劝雄称王，雄（
李雄）遂称
成都王。追尊曾祖虎（李虎）曰巴郡公，祖父慕（
李慕）陇西王，父特（
李特）景王，母曰王太后。
《十六国春秋别传.卷六.蜀录》（十六国春秋）：及魏武克汉中，特（李特）祖父虎（李虎）将五百家归魏，魏武（
曹操）嘉之，迁
略阳（一云
洛阳），拜虎（李虎）等为
将军。...虎子慕（李慕）为东羌猎将，慕生有五子，辅、特、庠、流、骧。