原论文：Bayesian Compression for Deep Learning

作者：Max Welling团队

摘要

        采用贝叶斯分析稀疏的先验，对网络进行裁剪。主要创新点有: (1) 采用层级先验来裁剪网络节点，而非单个权重裁剪；(2) 通过使用后验的不确定性来决定对节点权重压缩的最优精度。

背景

       深度学习的网络有众多的节点，但其中有很多无效而且冗余的结点。已有大量的方法来解决这类问题，一般的策略是减少网络的结点和降低权重精度。前者主要的方法对网络进行裁剪和学生-老师模型的distilling方法。

       从贝叶斯理论的角度，贝叶斯方法一方面可以采用稀疏先验寻找最优的模型结构，另一方面采用不确定后验可以去除不重要的节点。这就涉及到与贝叶斯相关的最小描述长度原理。（后续）