高建群《我的黑走马》一书里这样说:
“P188 那从草原方向上湍湍而来的骑者，长着浓密的络腮胡子，看不清他的脸，只有那胡须是如此的突出。大家于是信口叫他们胡人。东夷、西戎、南蛮、北狄，这是人们对这些围绕中华农耕文化圈的那些古族的分别称呼。如果叙事者偷懒，他干脆就给他们一个统一的称呼——胡人”。
高建群还说了对北方的游牧民族的另外两种称呼。一是见游牧人骑着马一颠一颠地从起伏的草浪上走来，不知其从何而来，语言又不通，于是叫他们“蚂蚱人”，文化人记在书简上就成了“玛札儿人”了。另一说法就是长城外湍湍而来的骑者面色黝黑赤红，草原上没有遮拦往来无定的风，天空中太阳的直射给他们造成这样一种肤色。村人见了，酷似蚯蚓的颜色。农民管蚯蚓叫“蚰蜒”，于是把游牧人叫成“蚰蜒人”，史学家记成了“柔然人”或“蠕蠕人”。也就是说，作家高建群认为胡人、玛札儿人和柔然人这三种说法都是农耕人对于游牧人的叫法。
以北京以北的长城为界，南边称为农耕经济，北边为游牧经济，自然长城以南的人称为农耕人、以北的称游牧民族了。也许这些朴素的叫法是历史的真相吧，我们后人不得而知，也许只是根据史料想象而已，毕竟真相很久远难查证了。
百度上解释为，“胡人”称谓主要源于古代北方民族的自称及中原王朝的统称，最早源于匈奴或东胡的自称，后演变为中原对北方及西域民族的泛称 。
词源与自称含义
匈奴自称：匈奴人自称为“胡”，在匈奴语中意为“天之骄子”或“人”。《汉书·匈奴传》记载：“胡者，天之骄子也。”。
部落名称：战国时期的林胡、东胡等部落也以“胡”为名，这一称谓可能源自阿尔泰语系中“人”的词根 。
指代对象的演变
秦汉时期：主要指匈奴人，如贾谊《过秦论》中“胡人不敢南下而牧马”。
魏晋至唐：范围扩大，泛指北方游牧民族（如鲜卑、羯、氐、羌）及西域民族（西胡），唐代常专指粟特人 。
地理分野：历史上形成“东胡”（乌桓、鲜卑）、“北胡”（匈奴）、“西胡”（西域各族）的地理分野 。
其他起源说法
相貌特征：因西域胡人具有“深目、高鼻、多须”的特征，区别于中原人 。
文化视角：部分观点认为含中原文化优越感，指代不文明或未开化之民，衍生出“胡说”等词汇 。
可见作家高建群先生对“胡人”称谓的考据是从相貌特征和汉人的文化视角而言的，是最通俗易懂的解释，也许是接近真相的说法吧。
