李特，字玄休，巴西郡宕渠县（今四川达州市渠县土溪乡城坝村）人氏，他的祖先是廪君的后裔（廪君之说就不展开了，毕竟年代太久远，事情也比较玄）。
自祖龙吞并天下后，秦朝将现在巴蜀那片划为了黔中郡，在当地薄征赋税（这在秦时的确比较少见），每口人每年只需出四十钱。因为当地人称赋税为賨（cóng），所以当时也有人称这些人为賨人。
到了刘邦入蜀当汉王的那会儿，他招募了许多当地的賨人加入了汉军，而在助刘邦平定了三秦一带后，这些賨人都要求回到故乡去。汉高祖因为賨人立下的功劳，就让他们和自己的故乡一样，直接免除了他们的赋税，并改称那个地方叫巴郡。
巴郡当地盛产盐铁、丹漆，民风剽悍，且骁勇善战，又能歌善舞。汉高祖非常喜欢观看他们的舞蹈，曾令乐府官员向巴人学习，即《巴渝舞》便是。
东汉末年，张鲁当时居住在汉中，用鬼道（即天师道～五斗米道）来教化百姓，巴人本就信仰巫道，所以很多人都跑去供奉张鲁，视其为主。
当时正值天下大乱，李特的祖辈也从巴西郡宕渠县迁至汉中的杨车坂，掳掠行人商旅，百姓把他们当作的一大祸患，称他们为杨车巴（住在杨车坂的巴人）。
魏武（曹操）攻克汉中后，李特的先祖率领部族中五百多家归顺，魏武授任他为将军，后举族又迁徙到了略阳（今汉中略阳县），北方一带都称他们为巴氐（巴中氐族）。
李特的父亲李慕，曾担任过东羌猎将。李特年轻时也曾在州郡中任职，其遇事时的见解经常与他人不同，很不寻常，其人身高八尺，雄武而善骑射，沉稳刚毅很有度量。
元康年间（晋惠帝），氐帅齐万年造反，关西民生大乱，又逢土地连年欠收，于是当地百姓都开始流浪逃荒，当时乞食流浪进入川蜀的百姓就有数万户人家。
李特也跟随流民进入了蜀地，等到了剑阁时，就一屁股坐在了地上，一边四下里观察周围险峻的地势，一边长长叹息道：“刘禅拥有像剑阁这样险要的天堑，却还向人投降，他难道不是个庸才吗。（问题是当年邓艾不走寻常路，改走了阴平小道，没硬闯剑阁）”，和李特一同逃荒的阎式、赵肃、李远、任回等人都惊叹李特语出惊人。
最初流民到达汉中时，便集体上书，要求晋廷能让他们在蜀中寄食定居，朝廷不同意，特地遣侍御史李苾，持节前往蜀中抚民，并且监视他们，不让他们进入剑阁。李苾抵达汉中时，接受了流民的贿赂，从而上表道：“流民共有十万多人，不是汉中这一个郡就能赈济得过来的，如果他们继续往东去荆州的话，那里水流湍急危险，他们也没有船只可以使用。蜀地的粮仓储备极多，近年来也是连连丰收，应该让他们在蜀中谋食乞命。”晋廷听从了李苾的建议，而这些流民自此就散居在益、梁二州，晋廷已无力再去管束他们了。
李特也与他两个兄弟（即李庠、李流）共居蜀中，渐渐开始谋划起入主蜀地之事了。
