汉代王充的《论衡》中讲了这样一个故事：”少正卯在鲁，与孔子并，孔子之门，三盈三虚，唯颜渊不去。”就是说少正卯和孔子抢夺生源，竞争非常激烈，许多学生在两个辅导班反复横跳，只有颜回从来没有离开。这个故事虽然很可能是附会的，但是从虚假的故事中寻找真实不是也挺有趣的吗。以小人之心来推测，万一颜回不离开的可能只是家里困难呢？
颜子的家境其实有些矛盾，《论语》里说颜回：”一箪食，一瓢饮，在陋巷，人不堪其忧， 回也不改其乐。”这是说颜回的经济困难都到了别人无法忍受的程度。而晚一些的《庄子》的描述中：”孔子谓颜回曰：“回，来！家贫居卑，胡不仕乎？”颜回对曰：“不愿仕。回有郭外之田五十亩，足以给飦粥；郭内之田十亩，足以为丝麻；鼓琴足以自娱；所学夫子之道者足以自乐也。回不愿仕。”好家伙，六十亩地的小地主居然还算贫穷，这是什么凡尔赛标准。暂且当这两者分别是经济的巅峰期和低谷期好了，下面的传说则更加扯淡了：
孔子的弟子想测试颜回，就在其经过的路上扔了一锭金子，上面写着：天赐颜回一锭金，颜回看见在上面加了一句：外财不发命穷人。即使无视这朴素的话语，我们也要佩服这说刻字就刻字的力道，敢情大家跟孔夫子学的是武术。后来传说就改良了，把写字的载体换成了纸或者布，先不纠结事物出现的时间和测试的成本问题，说好的”不怨天，不尤人”呢，怎么就把自己归到命穷人里了。
这些故事讲述的内容逐渐从即使贫穷但是也要学习发展到想要学习就必须贫穷的逻辑，逐渐混淆了手段和目的，毁灭某事的方法之一就是夸大它，把它碰上神坛，让大家离它们越来越远。
