前面几个小技巧操作起来都比较简单，这篇文章介绍的操作起来稍微复杂一点因为需要训练两个模型。这篇文章是对Hinton的Distilling the knowledge in a Neural Network的理解与概括。想要获取更多的细节可以看原论文。
1. Motivation
在机器学习中通过集成学习(ensemble learning)构造一套具有很高准确率的算法是一种简单有效的方式。 在深度学习中通过增加模型的深度，参数的数量也可以很好的提高模型的准确率。但是不管集成学习和比较大比较深的神经网络在实际部署中运行效率会比较低，有时很难满足实时或者服务大规模用户的需求，部署起来比较困难。这时我们就会想我们能不能把大型网络或者模型中学到的知识有效的压缩到一个小的简单的模型中。
2. 知识蒸馏(Knowledge Distillation)
知识蒸馏的基本思想是：我们首先训练一个复杂的模型，这个复杂的模型可以有效的从大量的数据集中学习到数据的分布方式，总结归纳数据的特征信息以便做出准确的预测。在完成复杂模型的训练之后，我们通过另外一种训练来将复杂模型学到的知识有效的转移到比较小的适合部署的模型。思想虽然很简单但是由于训练好的模型是由参数组成的，如何从这些参数中甄别出有用的知识并转移到一个不同结构的模型中在实际操作中存在很大的困难。Distilling the knowledge in a Neural Network这篇论文的一大贡献就是基于多分类任务的特性提出了一个巧妙的方法可以有效的将复杂模型的知识转移到简单模型中去。
2.1 图像多分类任务的特性
在图像多分类任务中，每一个样本由一张图片(数据)和一个one-hot向量(标签)组成， 该one-hot向量中跟图像数据相匹配的类是1，其余都是0. 所以在模型的训练和推导过程中，输入一张图片给模型，模型的输出也是一个向量，其中向量的每一个元素表达了输入图片属于每一类的概率。即使由于多分类任务训练的特性导致正确类的概率会特别大，错误类的概率会特别小， Hinton还是意识到我们可以从错误类的概率中提出中有用的信息： 即使每一个错误类的概率都很小，但他们之间还是有相对关系的。 举个简单的例子，在MNIST分类中，一张输入图片包含的数字是2，模型输出了该图片对应所有数字的概率，很显然数字2的概率会很大， 其他数字概率都很小，属于数字3的概率是, 而属于数字7的概率是
, 这表达了模型学习到了数字2更像数字3而不是数字7. 所以这些可以看作是模型学习到的知识，也可以用来帮助一个小的模型该如何去认识训练数据从而帮助小模型达到更好的训练效果。接下来我们要讨论一下如何应用它去做knowledge distillation(想要深入了解多分类任务的特性及问题的可以看我另外一篇文章CNN图像分类小技巧(3)：Label Smoothing
2.2 knowledge distillation在图像多分类任务中的应用
- 首先我们先训练一个复杂的模型，当做老师模型，例如ResNet-152，老师模型应该有更高的准确率。
- 然后我们选择一个学生模型，例如ResNet-50，然后开始训练。
- 在训练学生模型ResNet-50的过程中，除了使用常规的多分类任务训练使用的cross-entropy损失函数，我们增加另外一个蒸馏损失函数用来惩罚老师模型和学生模型softmax输出的不同， 以达到让学生模型学习老师模型学习到的错误类别概率间的差别。该蒸馏损失函数：
其中和
分别是学生模型和老师模型最后全连接层的输出。整体的损失函数是：
其中是常规的多分类任务中的cross-entropy损失函数。
是一个超参数用来让softmax的输出更平滑来达到蒸馏知识的效果。
