CoT

最近看了一篇文章是关于CoT微调的，所以看了一下关于CoT的内容。
看之前其实是有两个疑问的，1）思考链这个是否是额外生成的，还是说模型的每一次推理过程中都会出现，2）现在的模型都是概率生成的，那思考链是怎么模拟思考过程的。
思考链是模型在处理复杂问题的时候，将推理过程拆解为多个中间步骤的能力，是在特定条件下激活的一种推理模式。也就是说他确实是一种额外生成的东西，正常来讲模型是不会生成这种东西的，像是豆包或是deepseek之类的只有在点了深度思考他才会生成思考链。虽然这样可以提升复杂问题的准确率，但是也会额外占用资源。
关于第二个问题，思考链也是基于概率生成的，看起来有一定的逻辑性是因为训练集中就有人类推理模式的训练，学到了步骤，逻辑连接词这些的概率分布。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容