人都是势利的，只有你强大的时候才会跟随你，如果你不强大没人愿意跟你沾边。
刘备起兵时是“白身”，什么意思呢？就是民间的义兵，按照汉朝律法，私自募兵是不合法的。
当时汉朝廷虽然下令让地方募兵打击黄巾军，但那是授权地方的刺史、太守、县令募兵，可没让平民募兵。
刘备以“白身”起兵，是钻了“州郡各举义兵”的空子，为了给自己募兵找合法性依据，刘备带着这支私人武装投靠了有合法身份的校尉邹靖，以“从讨”的名义参与平定黄巾贼。
刘备这么搞就把自己洗白了，他之前属于私自聚众，但他马上把这支力量交给朝廷命官指挥，去执行朝廷的平叛任务，这样就表明自己没有野心，一心为国。
刘备是汉室宗亲，但他这一支在他的父亲刘弘早逝后就家道中落，在宗室中没有影响力。其他宗室要么都还在郡中任官，要么家产丰饶，比如同宗的刘元起家境殷实，能资助刘备与自己的儿子刘德然一同拜师卢植。
刘备当年才二十岁出头，一个白身，又家道中落，根本没有让宗族跟随的资本。
刘姓宗族都是有家有业的，又精明的很，他们才不会跟着刘备冒险。
刘备招募的义兵都是靠富商张世平、苏双的资助才凑出的人马，算是用私募资金招募的徒众。只有商人才愿意支持刘备，因为商人地位低下，想通过出钱攀附皇室贵胄，而刘备的宗族则不需要这么做。再者，张世平和苏双也是想让刘备当他们的保护人。
曹操后来起兵讨董时，曹氏和夏侯氏宗族全都all in，比刘备宗族可积极多了。而曹操的宗族是因为看中了曹操有正经的朝廷官职，曹操本身就已经很强大了，他们跟随曹操算是依附强者。
攀附强者是一个人乃至一个家族现实的考量，符合自身的利益。
如果刘备募兵时有个一官半职，那绝对有一些刘姓宗族跟随他起兵，因为有朝廷背书。此时支持刘备算是原始股投资，先提前押几注，说不定以后就翻倍了。
刘备起兵时一无所有，而且名不正言不顺，谁能摸得准他是投官兵还是投黄巾贼。与他保持距离才是靠谱的。
刘备算是三国之中为数不多的完全靠自己发家的诸侯，他是一点宗族的助力都没有。
这也不能说刘备的族人太势力、太世故了，换做是你，你敢拿着全家的身家性命去跟不务正业的刘备“非法起兵”吗？恐怕都不会。
正因为起点低，没有宗族助力，刘备的事业发展缓慢，虽然曾短暂占据过徐州，但很快就丢失。之后颠沛流离，先后依附过曹操、袁绍、刘表，最终才抢了刘璋的地盘，占据了益州，算是有了自己的基业。
而始终跟随刘备左右的，都是出身不高的关羽、张飞、赵云等人，或者是糜竺、糜芳这样的富商，直到诸葛亮这个职业经理人加入，刘备的团队才开始正规化。
从某种程度上讲，刘备的宗族眼光还是很毒辣的，他们如果当时真的跟着刘备折腾，恐怕等不到刘备在益州称帝的时候。
