6. LLMs中,涌现能力是啥原因?

  • 什么是涌现能力
    • 当一个复杂系统由很多个微小个体构成,这些微小个体凑到一起,相互作用,当数量足够多时,在宏观层面上展现出微观个体无法解释的特殊现象,就可以称之为涌现能力。
    • 例如雪花:雪花的构成是水分子,水分子很小,但是大量的水分子如果在外界温度条件变化的前提下相互作用,在宏观层面就会形成一个很规律、很对称、很美丽的雪花。

现能力原因猜想1:任务评价指标不够平滑

评价指标要求严格,要求一字不错,可以看到任务的涌现现象的出现。多项选择时,随着模型增长,缓慢增长,涌现现象消失。


任务评级指标不够原话

现能力原因猜想2:复杂任务 vs 子任务

量变到质变,子任务增加一点累计增长,父任务增加数倍。
1.01的365次方约等于37.78.

总结

关于涌现能力的猜想,目前主流猜想:

  • 任务的评价指标不够平滑
  • 复杂任务 vs 子任务
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容