14.1 什么是知识蒸馏
知识蒸馏:把大的教师模型的知识萃取出来,把他浓缩到一个小的学生模型,可以理解为一个大的教师神经网络把他的知识交给小的学生网络。
14.2 为什么进行知识蒸馏
- 提升模型精度
- 降低模型时延,压缩网络参数
- 标签之间的域迁移:合并不同模型功能
14.3 传统的知识蒸馏方法
- 基于反馈的知识蒸馏
-
基于特征的知识蒸馏
传统的知识蒸馏方法
知识蒸馏:把大的教师模型的知识萃取出来,把他浓缩到一个小的学生模型,可以理解为一个大的教师神经网络把他的知识交给小的学生网络。
基于特征的知识蒸馏