劲风屠龙

我第一次把“知识蒸馏”想成了复印：老师模型有一套厚厚的答案，小模型把它缩印成薄薄的一本。后来才发现，这个比喻少了关键一步——学生不是在复印答案，而是在训练中观察老师怎样判断，...

劲风屠龙

如果只看今天的讨论，很容易以为知识蒸馏是大语言模型催生的新词。事实上，2015年Hinton、Vinyals和Dean发表的论文已经给出了一个清晰想法：训练一个较小模型，让它...

劲风屠龙

假设一个团队训练出学生模型，离线准确率提高，模型文件也更小。演示会上，大家觉得实验已经成功。到了上线评审，项目却被暂停。训练确实产生了效果，团队手里仍然缺少运行证据，他们只证...

劲风屠龙

学习模型蒸馏容易走两个极端：只看公式，不知道项目怎样落地；只会调用教师生成数据，又说不清这与经典软目标蒸馏的区别。更稳妥的路线，是从概念、数据、训练、评测和部署五层逐步建立闭...

劲风屠龙

批量生成最让人头疼的情况，是程序停下以后没人能说清已经完成多少。单独一条错误提示反而容易处理。结果文件里有一部分内容，日志里还有几次超时。若直接重新运行，旧结果可能重复；若只...

劲风屠龙

这两年看模型，我越来越不敢只看参数量了。 1.5B、7B、14B、32B、70B、405B，这些数字当然重要。模型有多大，直接影响它能装下多少参数，需要多少显存，跑起来又有多...

劲风屠龙

很多报告把篇幅留给总分和模型排名，读者看完仍不知道学生究竟改好了什么。蒸馏项目更需要五类数字，基线差值、严重错误数、分层结果、线上纠正成本和单位合格样本成本。它们不能脱离样本...

劲风屠龙

蒸馏项目最容易被忽略的阶段是部署。训练报告显示学生模型效果接近教师，文件也明显变小，团队于是直接把它接到线上。几天后，长输入请求频繁超时，人工回退增加，原先预想的资源收益没有...

劲风屠龙

一张蒸馏报价单写着数据生成、模型训练和部署，老板仍然可能看不懂项目会做到哪一步。报价低不一定代表项目划算，报价高也不一定代表范围完整。先把每一项工作的输入、输出和验收方式问清...

劲风屠龙

很多人第一次听到模型蒸馏，是在一张越来越长的 API 账单旁边。有人说训练一个小模型就能省钱，也有人建议先做 RAG 或微调。几个词放在一起，初学者很容易以为它们只是不同叫法...

劲风屠龙

2026 年，"蒸馏"这个词频繁出现在 AI 新闻里。 Google 和 Anthropic 指控某些公司进行"蒸馏攻击"，77 家公司签署公开信反对限制开源模型，DeepS...

劲风屠龙

第一次做蒸馏，最容易被数据数量吸引。教师已经生成很多回答，文件也整理得很整齐，团队会觉得可以开始训练。真正需要先做的，是确认这些回答教的任务是否一致，错误有没有被发现，学生以...

劲风屠龙

蒸馏项目临近结束时，大家很容易把注意力放在最后一次演示。学生模型回答得不错，速度也符合预期，会议结束以后就准备签字。交接真正困难的部分通常在会后。接手人打开文件目录，不知道哪...

劲风屠龙

假设一个项目在周会上展示训练曲线。线条从左上向右下，负责人据此判断学生模型已经收敛，下一步准备接入业务。把样本拿出来以后，合同抽取仍会漏字段，知识问答换一种问法就答偏，服务接...

劲风屠龙

团队先完成蒸馏，再把学生模型做了量化。模型文件变小了，测试报告里的平均分变化不大，业务试用却发现长文本和少数类别的结果变差。量化前后的失败样本放在一起后，退步集中在几类输入。...

劲风屠龙

模型训练了几轮，学生在熟悉样本上的表现逐渐稳定，换一批新来源的问题却又出现明显退步。团队没有马上追加训练，而是把错误重新分组。部分问题缺少最新资料，部分问题来自输出规则变化，...

劲风屠龙

这是一个经过抽象处理的项目复盘。文章不对应某一家企业，也不提供具体客户数字，只讨论一个团队为什么在生成了不少教师数据以后，没有继续扩大训练规模。 项目一开始的想法很直接。教师...

劲风屠龙

上一篇我们讲了蒸馏是什么——让学生模型学习教师模型的输出。最初的目的是压缩模型，让它更小、更快、更便宜。 但 2026 年引发争议的，不是这种"压缩式蒸馏"，而是另一种蒸馏—...

劲风屠龙

一所学校的良性运转，从来不是单声部的独唱，而是多声部的交响。管理者与老师，虽身处不同的岗位，却共同承担着育人的使命。要让彼此的辛勤劳作被看见、被理解，最终实现同频共振，不仅...