模型压缩

模型压缩的方法，常见的有剪枝（pruning）,量化，蒸馏。

pruning

先分析权重或者神经元的重要性，然后去除，之后重新fine-tune，一直循环。

判断weight的重要性：绝对值的大小
判断neuron的重要性： 训练过程中不为0的次数。


©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 模型压缩总览
    深度学习使得很多计算机视觉任务的性能达到了一个前所未有的高度。不过，复杂的模型固然具有更好的性能，但是高额的存储空...
    CodePlayHu阅读 40,653评论 8赞 55
  • 模型压缩简述
    如今学术界新提出的神经网络模型越来越大，而在实际应用中很多模型都要被部属在移动端。移动端的存储空间以及算力都有限，...
    tianchen627阅读 7,773评论 0赞 1
  • 模型压缩|深度学习（李宏毅）（十三）
    李宏毅老师深度学习系列2020[https://www.jianshu.com/nb/46515447] 一、概述...
    酷酷的群阅读 5,698评论 0赞 13
  • Pytorch实现一模型压缩算法
    网络剪枝个人觉得是一种实用性非常强的网络压缩方法，并且可以和其它模型压缩方法如网络蒸馏、参数位压缩等进行组合，在保...
    帅气滴点C阅读 9,357评论 2赞 5
  • 剪枝论文统计
    学术菜鸡的论文统计，请无视 2015年 #1.Learning both Weights and Connecti...
    MoreanP阅读 6,673评论 0赞 4