参考链接：https://blog.csdn.net/calvinpaean/article/details/103662659
pruning from scratch：从零开始
1、剪枝流程
① 传统的剪枝流程
预训练权重→剪枝→剪枝结构→微调→剪枝后的模型权重
② 最近的剪枝流程(liu et aI.2019)
预训练权重→剪枝→剪枝结构→从零开始训练→剪枝后的模型权重
③ 我们的剪枝流程
随机初始化权重→剪枝→剪枝结构→从零开始训练→剪枝后的模型权重
我们的剪枝流程的优点是：其它的剪枝方法，从预训练权重中得到的剪枝后的结构都是相似的，限制了得到更优秀的剪枝网络结构的可能性。但是我们的剪枝方法，可以发现更多样化、更有效的剪枝网络结构，这样就有可能包含性能更佳的潜在结构。
2、剪枝过程
① 作者利用网络剪枝里相似的技巧，对每一层都关联一个标量门值(scalar gate value)，以此来学习通道的重要性。利用稀疏正则化对通道的重要性进行优化，提升模型性能。与之不同的地方是，在此过程中我们的方法没有更新随机权重。
② 学习了通道重要性之后，本文利用了一个简单的二元搜索策略来决定在给定资源限制条件(如 FLOPs)下，剪枝的通道数配置
3、剪枝速度
由于我们的方法不需要在优化阶段中更新模型的参数，搜索剪枝结构的速度非常快。在 CIAFR10 和 ImageNet 上的实验显示，我们的方法可以分别提升搜索的速度至少 10 倍和 100 倍。但取得的准确率和传统方法相比是差不多的，甚至更好。此方法可以将研究人员从耗时的训练过程中解放出来，提供极具竞争力的剪枝结果
4、剪枝步骤
住：作者主要关注在微观的层设定上，尤其是通道剪枝策略中每层的通道个数
① 目标函数
为了高效地学习每层的通道重要度，我们在通道维度上，对第 j 层关联一组标量门值 .该门值乘上该层的输出，进行逐通道的调整。因此，一个近似 0 的门值将会抑制对应通道的输出，完成剪枝。我们将 K 层的标量门值记为
= {
}。
的优化目标函数为：
其中 是对应的标签，
是交叉熵损失，
是平衡各项的系数，
是训练参数
在这里，之前的工作主要有两个方面。首先，在通道重要度学习阶段，我们并不更新权重；其次我们使用随机初始化权重，不依赖于预训练
本文利用所有门的平均值来近似其整体的稀疏比例，用平方范数将稀疏度逼近为预先定义的比值 r ，因而给定一个目标稀疏比值 r，正则项为：
其中 是第 j 层的通道个数。根据实验，作者发现这项改进可以让剪枝结构更加合理。在优化过程中，可能存在多个门可以用于裁剪。作者选择其中稀疏度低于目标比值 r ，但准确率最高的门作为最终的门。
在得到了一组优化了的门值后， {
}，选择一个阈值
来决定哪些通道要被裁剪掉。一个更现实的方法是根据网络的 FLOPs 约束来找到剪枝结构。我们可以通过二元搜索法来决定全局阈值
，直到剪枝结构满足条件限制。
算法 1 总结了该搜索策略。注意，给定一组通道数的配置信息，模型结构生成器 需要输出一个模型结构，这里，我们只需要决定每个卷积层的通道个数，不用改变原来层的连接拓扑结构。
