常用深度学习模型压缩和加速

模型压缩和加速是两个不同的话题，有时候压缩并不一定能带来加速的效果．压缩重点在于较少网络参数量，加速则侧重在降低计算复杂度，提升并行能力．模型压缩和优化可以从主要三个层次上来思考:

算法层压缩加速．这个维度主要在算法应用层上，也是大多数算法工程师的范畴．主要包括结构优化(如矩阵分解，分组卷积，小卷积核等)，量化和定点化，模型减枝，模型蒸馏等

框架层加速．这个维度主要在算法框架层，比如tf-lite，NCNN, MNN等，主要包括编译优化，缓存优化，稀疏存储和计算，NEON指令应用，量子优化等

硬件层加速．主要AI硬件芯片层，目前有GPU, FPGA, ASIC等多重，专门针对深度学习进行芯片定制，加速模型运行速度

1.算法层压缩加速

1.1 结构优化

1). 矩阵分解
将M*N的矩阵分解成M*K+K*N，只要让K<<M且K<<N, 就可以大大降低模型的体积．比如再ALBert的Embedding层．M为词表长度，即vocab_size，N为隐层大小，即hidden_size，K为我们设置的低维词嵌入空间．
分解前: 矩阵参数量为(M*N)
分解后: 参数量(M*K+K*N)
压缩量: (M*N)/(M*K+K*N),　因为M>>N，所以近似为N/K，　当N=1024，k=128时，可以压缩8倍
2). 权值共享
类似CNN的权值共享，和ALBERT里面的12层共用一套参数．从而降低参数量，但是推理速度不增加．
3). 分组卷积(Group Conv)，深度可分离卷积(Depthwise separable Conv)

分组卷积

image.png

第一张图表示标准卷积操作，若输入特征图尺寸为

H*W*c_1

，卷积核尺寸为

h_1*w_1*c_1

，输出特征图尺寸为

H*W*c_2

，标准卷积层参数量:

(h_1*w_1*c_1)*c_2

．(一个滤波器在输入特征图

h_1*w_1*c_1

大小区域内操作，输出结果为1个数值，所以需要

c_2

个滤波器)
第二张图代表分组卷积．将输入特征图按照通道数分成

g

组，每组输入特征图的尺寸为

H*W*( \frac{c_1}{g} )

，对应卷积核尺寸为

h_1*w_1*( \frac{c_1}{g} )

，每组输出特征图尺寸为

H*W*( \frac{c_2}{g} )

．将

g

组结果拼接(concat)，得到最终尺寸为

H*W*c_2

，分组卷积层参数量为

h_1*w_1*(\frac{c_1}{g})*(\frac{c_2}{g})*g = h_1*w_1*c_1*c_2*\frac{1}{g}

深度分离卷积

image.png

对于常规的 $M$ 输入通道， $N$ 输出通道， $d_k*d_k$ 的kernel size的卷积，需要参数量为 $M*N*d_k*d_k$ ．每个输入通道，都会抽取 $N$ 种特征(对应输出通道数)，不通的输入通道需要不同的kernel来做抽取，然后叠加．所以M个输入通道，N个输出通道，需要 $M*N$ 个kernel.
mobileNet对常规卷积做了优化，每个输入通道，需要一个kernel做特征提取，叫做depth wise．如此 $M$ 个通道可得到 $M$ 个feature map．但是如何得到想要的 $N$ 个通道输出．mobileNet采用一个常规 $1*1$ 卷积来处理该连接，从而转化到输出通道上．总结来说,　mobileNet里利用一个 $d_k*d_k$ 的depth wise卷积和一个 $1*1$ 的point wise卷积来实现一个常规卷积．
分组前: 参数量 $(M*N*d_k*d_k)$
分组后: 参数量 $(M*d_k*d_k+M*N*1*1)$
压缩量: $(M*d_k*d_k+M*N*1*1)/(M*N*d_k*d_k)$ ,　近似为 $1/(d_k*d_k)$ .常用 $d_k=3$ , 也就是 $3*3$ 卷积，故可缩小约9倍

分解卷积

分解卷积是将普通的 $k*k$ 卷积分解成 $k*1$ 和 $1*k$ 卷积，通过此方法，在感受野相同时候大量减少计算量，同时减少参数量．可以看成是使用 $2*k$ 个参数模拟 $k*k$ 个参数的卷积效果．从而减小网络容量．

其他

1.　全局平均池化代替全连接层．这个是大杀器，全连接层占据了90%的参数量，inceptionV1创造性的使用全局平均池化来代替最后的全连接层，使得在网络结构更深的情况下（22层，AlexNet只有8层），参数量只有500万

$1*1$ 卷积核的使用。此卷积核是性价比最高的卷积。在参数量为1的情况下，同样能够提供线性变换，relu激活，输入输出channel变换等功能
使用小卷积核代替大卷积核。VGGNet中全部使用33小卷积核代替AlexNet中1111和55等大卷积核。小卷积核虽然参数量较少，但也会带来特征面积捕获过小的问题。inception 认为越往后的卷积层，应该能捕获更多更高阶的抽象特征。因此它在靠后的卷积层中使用55等大面积卷积核等比率较高，而在前面几层卷积中，更多使用11和33等卷积核。

image.png

量化

伪量化

深度学习模型参数通常是32bit浮点型，我们能否使用16bit，8bit甚至1bit来存储呢。常见做法就是保存模型每一层时，利用低精度来保存每一个网络参数，同时保存拉伸比例scale和零值对应的浮点数zero_point。推理阶段，利用如下公示将网络参数还原为32bit浮点：
$Q(x, scale, zero_point) = round(\frac{x}{scale} +zero_point)$
该过程称为伪量化

聚类和伪向量化

将大小相近的参数聚在一起，氛围一类。
每一类计算参数的平均值，作为他们量化后对应的值。
每一类参数存储时，只存储他们的聚类索引。索引和真实值(也就是类内平均值)保存在另外一张表中
推理时，利用索引和映射表，恢复为真实值。

具体过程如下图

由上图可以见到，当只需要四个类时，只要2bit就可以实现每个参数的存储，压缩量达到16倍。推理时通过查找表恢复为浮点数，精度损失可控。当聚类数量为N是，压缩量为log(N)/32。

定点化

与伪量化不同的是，定点化在推理时，不需要还原为浮点数，这需要框架实现算子的定点化运算支持。目前MNN、XNN等移动端AI框架中，均加入了定点化支持。

剪枝

剪枝流程

剪枝归纳起来就是取其精华去其糟粕。按照剪枝粒度可以分为突触剪枝、神经元剪枝、权重矩阵剪枝等。总体思想，将权重矩阵中不重要的参数设置为0，结合稀疏矩阵来进行存储和计算。通常为了保证performance，需要一小步一小步进行迭代剪枝。
常见迭代剪枝流程如下：

常见迭代剪枝流程如下

训练一个表现较好的大模型

评估模型中参数的重要性。常用的评估方法是，越接近0的参数越不重要。当然还有其他一些评估方法。这块是当前剪枝研究的热点。

将不重要的参数去掉或者说设置为0。之后通过稀疏矩阵进行存储。比如只存储非0元素的index和value。

训练集上微调，从而使得由于去掉部分参数导致的表现下降能够尽量调整回来。
5.验证模型大小和表现是否达到预期。如果没有继续迭代进行。

突触剪枝
剪掉神经元之间不重要的连接，对应到权重矩阵中，相当于将某个参数设置为0，常见做法，按照数值大小排序，将大小排名最后的k%设置为0，k%就是压缩率。

剪枝前权重矩阵

剪枝后权重矩阵

神经元剪枝

常见迭代剪枝流程

神经元剪枝则是直接将某个节点直接去掉，对应到权重矩阵中，相当于某一行和某一列设置为0，常见做法是，计算神经元对应的一行和一列参数的平方和的根，对神经元进行重要性排序，见给大小排名后对k%设置0.

神经元剪枝前

神经元剪枝后

权重矩阵剪枝
除了将权重矩阵中某些零散参数，或者整行整列去掉外，能否将整个权重矩阵去掉呢，目前也有很多这方面的研究。NeurIPS 2019有篇文章，Are Sixteen Heads Really Better than One?，深入分析了BERT多头机制中每个头到底有多大用，结果发现很多头其实没啥卵用。他在要去掉的head上，加入mask，来做每个头的重要性分析。作者分析单独去掉每层每个头，WMT任务上BLEU的改变。发现大多数head去掉后，整体影响不大。随后在此基础上，每层只保留一个最重要的head后，ACC的变化。可见很多层只保留一个head，performance影响不大。

蒸馏

蒸馏流程

蒸馏本质是student对teacher的拟合，从teacher中汲取养分，学到知识，不仅仅可以用到压缩和加速中。蒸馏常见流程如下图：

截屏2020-10-17 下午8.33.24.png

老师和学生可以是不同的网络结构，比如BERT蒸馏到BiLSTM网络。但一般相似网络结构，蒸馏效果会更好。
2.总体loss为soft_label_loss+hard_label_loss。soft_label_loss
可以使用KL散度或者MSE拟合。

soft label为teacher模型要拟合的对象。可以是模型预测输出，也可以是embeddings，或者hidden layer和attention分布。针对软标签的定义，蒸馏方案也是百花齐放，下面分享两篇非常经典的文章。

distillBERT
DistillBERT: A distilled version of BERT: smaller, faster, cheaper and lighter

distillBERT主要创新点：

Teacher12层，student 6层，每两层去掉一层。比如student第二层对应teacher第三层

Loss = 50Lce+2.0Lmlm+1.0*Lcos
Lce: soft_label的kl散度
Lmlm: mask LM hard label的交叉熵
Lcos：hidden state的余弦相似度

DistillBERT比BERT快60%，体积比BERT小60%，在glue任务上，保留了95%以上的性能。在表现损失很小的情况下，带来较大的模型压缩和加速效果。

TinyBERT
TinyBERT: Distilling BERT for Natural Language Understanding
总体结构：
TinyBERT对embedding层，transformer层（包括hidden layer和attention）和prediction层均进行拟合。如下图

蒸馏过程

其中Embedding采用MSE，Prediction采用KL散度，Transformer层的hidden state和attention均采用MSE。loss如下：

loss公示

其中m为层数。
效果分析：

效果分析-glue任务上的performance。在glue任务上，可达到bert-base的96%，几乎无损失。表3，tinyBERT模型大小和推理速度，缩小7.5倍，加速9.4倍。压缩加速效果十分明显。

消融分析：

分析embedding，prediction，attention，hidden layer软标签作用，其中attention和hidden layer作用最大。

分析teacher，student不同层对应方法的效果，uniform为隔层对应，top为全部对应老师顶部几层，bottom为全部对应老师底部几层。uniform效果好很多，也很好理解，浅层可以捕捉低阶特征，深层捕捉高阶特征。全是低阶或者高阶显然不合适，需要组合搭配。

https://zhuanlan.zhihu.com/p/138059904
https://zhuanlan.zhihu.com/p/67871864