前言：
从神经网络的发展过程中，有一个问题困扰了很多人，也是神经网络发展道路上的一大绊脚石。它就是大家并不陌生的梯度消失、爆炸。本文主要深入介绍梯度消失、爆炸的产生原因和目前的一些解决方案，让大家对于梯度消失、爆炸的现象能够有更深的理解。其中有些知识相对基础，大家可以根据需求进行跳跃阅读。
- 反向传播算法
说到梯度消失和爆炸，就不得不说到反向传播算法。我们都知道，现在的深度学习模型都是通过基于对于loss进行梯度下降法来更新参数达到学习的目的。由于深度学习网络一般有很多层，直接用loss对每个学习参数进行求导在编程上难以实现，这也是反向传播算法被提出的原因。反向传播算法实则是利用了链式法则，从后往前计算loss对于每一层每一个学习参数的梯度。由于在神经网络中的层结构可以分解成简单的加、减、乘、max等简单易求梯度的模块，因此用反向传播算法来求解梯度易于实现且利用到了神经网络的结构，计算复杂度也不高。但是，通过链式法则我们不难发现，在更新参数的过程中，梯度很容易会随着层数的增加，从后往前快速减小或增大。这个现象就是梯度消失、爆炸。 -
梯度消失、爆炸
之前介绍了梯度消失、爆炸现象的来源，但是很多人可能对于为什么梯度可能会随着层数的增加而快速减小或增大。
首先，假设我们的模型的某个输出为H(x) = wj * f（wi * x + b），其中f是激活函数。我们想要求H(x)对x的偏导，我们可以得知是wj * f（wi * x + b）对于x的偏导数。所以我们可以看出，影响输出H(x)对于输入的梯度大小因素有两个，一个是参数wj的大小，一个是激活函数的输出大小。这样我们就很容易理解梯度消失和爆炸的问题了。我们知道，在深度学习的发展开端，激活函数是由sigmoid函数担当的。如figure 1所示，sigmoid函数在自变量值绝对值较大时，梯度已经接近0了。也就是说，当我们的上一层输出已经进入激活函数饱和区的情况下，梯度会非常小。因此，在反向传播中，随着层数的累积，很可能出现大量饱和的神经元，并且梯度指数级减小向零逼近。而这样的现象导致了我们训练的困难（因为参数基本得不到更新）。而梯度爆炸则相反，即某些参数的梯度值过大，导致在反向传播过程中逐级增大，最终爆炸。我们在来看几张图，更直观的说明深度网络中的梯度问题【1】（figure 2， figure 3）。其中横坐标代表训练的epoch数。从图中可以看出，深度网络中，处于后面的层的参数更新速度要快于位于前面的层，说明梯度从后面层到前面层出现了减小的现象。
figure 1（来自维基百科）
figure 2
figure 3 -
梯度消失和爆炸的部分解决方案
在这边我主要介绍分层预训练后微调、梯度限制和正则、激活函数的变更、BatchNorm以及残差结构这5种方法。
3.1 分层预训练后微调
这个方法来自Hinton在2006年发表的一篇论文，Hinton为了解决梯度的问题，提出采取无监督逐层训练方法。他的基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程就是逐层“预训练”（pre-training）；在预训练完成后，再对整个网络进行“微调”（fine-tunning）。Hinton在训练深度信念网络（Deep Belief Networks中，使用了这个方法，在各层预训练完成后，再利用BP算法对整个网络进行训练。此思想相当于是先寻找局部最优，然后整合起来寻找全局最优，此方法有一定的好处，但是目前应用的不是很多了。
3.2 梯度限制和正则
梯度限制主要是针对梯度爆炸提出的。当梯度的值超过我们所设的阈值，则按阈值输出梯度。
而权值的正则一般指的是L1和L2正则。正则的思想主要是限制权值过大造成对于某些输入过分迁就的过拟合现象。正则起到使得权值分布较为均匀且值都比较小。在梯度消失、爆炸的问题这里，当我们的权值大小得到限制，一则不容易出现于激活函数的饱和区的梯度消失，二来不会因为权重过大导致某些参数梯度过大的爆炸。因此，正则化也有助于梯度问题。
3.3 激活函数的变更
通过上面我们可以知道，因为sigmoid等早期的激活函数有饱和区的问题导致梯度消失。所以，通过更换其他激活函数可以避免这个问题。
如relu激活函数，当输出大于0时，其梯度总是1。这也就解决了因为激活函数导致的梯度消失的问题。但是relu也有它的缺点：输出不是以0为中心的以及由于负数部分恒为0，会导致一些神经元无法激活（可通过设置小学习率部分解决）。
3.4 BatchNorm
Batchnorm是深度学习发展以来提出的最重要的成果之一了，目前已经被广泛的应用到了各大网络中，具有加速网络收敛速度，提升训练稳定性的效果，Batchnorm本质上是解决反向传播过程中的梯度问题。batchnorm全名是batch normalization，简称BN，即批规范化，通过规范化操作将输出信号x规范化保证网络的稳定性。
通过我们之前第2点的介绍钟，我们知道在梯度反向传播过程中会有权重项。batchnorm就是通过对每一层的输出进行normalization，使得其输出分布更加均匀，消除了w带来的放大缩小的影响，进而解决梯度消失和爆炸的问题。
3.5 残差结构
虽然残差结构的提出主要是为了解决网络在深度加深时的退化问题，但是从figure 4可以看出，由于shortcut的存在，残差网络的输出对于输入求编导时，不管输出对于F(x)是多少总有一个常数梯度1的存在，所以一定程度上解决了反向传播中梯度消失的问题。
figure 4
参考资料：
【1】《Neural networks and deep learning》
【2】Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun，Deep Residual Learning for Image Recognition
