这是一个经过抽象处理的项目复盘。文章不对应某一家企业，也不提供具体客户数字，只讨论一个团队为什么在生成了不少教师数据以后，没有继续扩大训练规模。...

模型训练了几轮，学生在熟悉样本上的表现逐渐稳定，换一批新来源的问题却又出现明显退步。团队没有马上追加训练，而是把错误重新分组。部分问题缺少最新资...

团队先完成蒸馏，再把学生模型做了量化。模型文件变小了，测试报告里的平均分变化不大，业务试用却发现长文本和少数类别的结果变差。量化前后的失败样本放...

假设一个项目在周会上展示训练曲线。线条从左上向右下，负责人据此判断学生模型已经收敛，下一步准备接入业务。把样本拿出来以后，合同抽取仍会漏字段，知...

上一篇我们讲了蒸馏是什么——让学生模型学习教师模型的输出。最初的目的是压缩模型，让它更小、更快、更便宜。 但 2026 年引发争议的，不是这种"...

蒸馏项目临近结束时，大家很容易把注意力放在最后一次演示。学生模型回答得不错，速度也符合预期，会议结束以后就准备签字。交接真正困难的部分通常在会后...

第一次做蒸馏，最容易被数据数量吸引。教师已经生成很多回答，文件也整理得很整齐，团队会觉得可以开始训练。真正需要先做的，是确认这些回答教的任务是否...

2026 年，"蒸馏"这个词频繁出现在 AI 新闻里。 Google 和 Anthropic 指控某些公司进行"蒸馏攻击"，77 家公司签署公开...

很多人第一次听到模型蒸馏，是在一张越来越长的 API 账单旁边。有人说训练一个小模型就能省钱，也有人建议先做 RAG 或微调。几个词放在一起，初...