神经网络中的权重初始化常用方法

技术交流QQ群:1027579432，欢迎你的加入！

1.权重初始化的重要性

神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的激活函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。
为了打破这个平衡，比较好的方法是对每层的权重都进行随机初始化，这样使得不同层的神经元之间有很好的区分性。但是，随机初始化参数的一个问题是如何选择随机初始化的区间。如果权重初始化太小，会导致神经元的输入过小，随着层数的不断增加，会出现信号消失的问题；也会导致sigmoid激活函数丢失非线性的能力，因为在0附件sigmoid函数近似是线性的。如果参数初始化太大，会导致输入状态太大。对sigmoid激活函数来说，激活函数的值会变得饱和，从而出现梯度消失的问题。

2.常用的参数初始化方法

高斯分布初始化：参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。
均匀分布初始化：在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数r的设置可以按照神经元的连接数量进行自适应的调整。
初始化一个深层神经网络时，一个比较好的初始化策略是保持每个神经元输入和输出的方差一致。

3.Xavier初始化

当网络使用logistic激活函数时，xavier初始化可以根据每层的神经元数量来自动计算初始化参数的方差。假设第l层神经元的激活函数是logistic函数，对第l-1层到第l层的权重区间r可以设置为
$r=\sqrt{\frac{6}{n^{l-1}+n^{l}}}$
上式中 $n^{l}$ 是第l层神经元个数， $n^{l-1}$ 是第l-1层神经元个数。
对于tanh函数，r可以设置为
$r=4 \sqrt{\frac{6}{n^{l-1}+n^{l}}}$
假设第l层的一个隐藏神经元 $z^{l}$ ,其接收前一层的 $n^{l-1}$ 个神经元的输出 $a_{i}^{(l-1)}$ ， $i \in\left[1, n^{(l-1)}\right]$
$z^{l}=\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}$
为了避免初始化参数使得激活函数变得饱和，需要尽量使得 $z^{l}$ 处于激活函数的线性区间，也就是其绝对值较小的值，这时此神经元的激活值为 $f\left(z^{l}\right) \approx z^{l}$ 。假设 $w_{i}^{l}$ 和 $a_{i}^{(l-1)}$ 的均值都是0，并且相互独立，则 $a^{l}$ 的均值为
$\mathbb{E}\left[a^{l}\right]=\mathbb{E}\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right]=\sum_{i=1}^{n^{(l-1)}} \mathbb{E}\left[\mathbf{w}_{i}\right] \mathbb{E}\left[a_{i}^{(l-1)}\right]=0$
$a^{l}$ 的方差为
$\begin{aligned} \operatorname{var}\left[a^{l}\right] &=\operatorname{var}\left[\sum_{i=1}^{n^{(l-1)}} w_{i}^{l} a_{i}^{(l-1)}\right] \\ &=\sum_{i=1}^{n^{(l-1)}} \operatorname{var}\left[w_{i}^{l}\right] \operatorname{var}\left[a_{i}^{(l-1)}\right] \\ &=n^{(l-1)} \operatorname{var}\left[w_{i}^{l}\right] \operatorname{var}\left[a_{i}^{(l-1)}\right] \end{aligned}$
也就是说，输入信号的方差在经过此神经元后被放大或缩小了 $n^{(l-1)} \operatorname{var}\left[w_{i}^{l}\right]$ 倍。为了使得在经过多层神经网络后，信号不被过分放大或缩小，尽可能保存每个神经元的输入和输出的方差一致，这样 $n^{(l-1)} \operatorname{var}\left[w_{i}^{l}\right]$ 设为1比较合理，即
$\operatorname{var}\left[w_{i}^{l}\right]=\frac{1}{n^{(l-1)}}$
作为折中，同时考虑信号在前向和反向传播中都不被放大或减小，可以设置
$\operatorname{var}\left[w_{i}^{l}\right]=\frac{2}{n^{(l-1)}+n^{(l)}}$
在计算出参数的理想方差后，可以通过高斯分布或均匀分布来随机初始化参数。
高斯分布初始化：如果采用高斯分布来随机初始化参数时，连接权重 $w_{i}^{l}$ 可以按 $\mathcal{N}\left(0, \sqrt{\frac{2}{n^{(l-1)}+n^{(l)}}}\right)$ 的高斯分布进行初始化。
均匀分布初始化：假设算计变量x在区间[a,b]内服从均匀分布，则其方差为
$\operatorname{var}[x]=\frac{(b-a)^{2}}{12}$
因此，如果采用区间为[-r,r]的均匀分布来初始化 $w_{i}^{l}$ ，并满足 $\operatorname{var}\left[w_{i}^{l}\right]=\frac{2}{n^{(l-1)}+n^{(l)}}$ ，则r的取值为
$r=\sqrt{\frac{6}{n^{l-1}+n^{1}}}$

4.He初始化

当第l层神经元使用ReLU激活函数时，通常有一般的神经元输出为0，因此其分布的方差也近似为使用logistic作为激活函数时的一半。这样，只考虑前向传播时，参数 $w_{i}^{l}$ 的理想方差为
$\operatorname{var}\left[w_{i}^{l}\right]=\frac{2}{n^{(l-1)}}$
其中 $n^{l-1}$ 是第l-1层的神经元个数。
因此，当使用ReLU激活函数时，如果采用高斯分布来初始化参数 $w_{i}^{l}$ ，其方差为 $\frac{2}{n^{(l-1)}}$ ；如果采用区间为[-r,r]的均匀分布来初始化参数 $w_{i}^{l}$ 时，则 $r=\sqrt{\frac{6}{n^{l-1}}}$ 。