概念是一种抽象
抽象也有层级
从低到高，从具体到抽象，例如：鸟 to 动物
抽象性——丰富性
complexity——fidelity
compression——meaning
For LLMs to transcend surface-level mimicry and achieve more human-like understanding, it is critical to investigate how their internal representations navigate the crucial trade-off between information compression and the preservation of semantic meaning.
知识：简单性（抽象）——保真度（真实），这两者之间权衡后形成知识。
在LLM中的概念，可以用对所有token进行加权求和后的token来表示，即融合不同token的信息。（[CLS] token、Soft-Thinking）
这些信息，比如说形成的token = “动物”，这个token可以代表“大象”，“熊猫”，“老鼠”，“人”等等不同的次一级的动物。
如果LLM掌握了这样的层级表示能力，即就代表它有了推理能力。
