14. 知识蒸馏

14.1 什么是知识蒸馏

知识蒸馏:把大的教师模型的知识萃取出来,把他浓缩到一个小的学生模型,可以理解为一个大的教师神经网络把他的知识交给小的学生网络。

14.2 为什么进行知识蒸馏

  • 提升模型精度
  • 降低模型时延,压缩网络参数
  • 标签之间的域迁移:合并不同模型功能

14.3 传统的知识蒸馏方法

  • 基于反馈的知识蒸馏
  • 基于特征的知识蒸馏


    传统的知识蒸馏方法
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容