4.神经网络特定问题
没有任何经验，训练神经网络来实现合理的准确度会变得非常有挑战。人们通过几十年的实验和研究，可以训练处非常大的神经网络，并且有很多的tricks.
4.1 由于梯度消失或梯度爆炸导致收敛比较慢
已知的神经网络训练的困难时梯度消失或梯度爆炸，通常的描述梯度消失或梯度爆炸是来源于信号处理的视角。梯度下降可以视为反馈纠错机制，最外层输出将会传递回之前的层，并通过权重调整来降低误差。
当网络层数较多时，权重的乘积会使得乘积的结果越来越大或越来越小。乘积到无穷大或0 时的情况就是梯度爆炸和梯度消失。
当w再0-0.8时会出现梯度消失，大于1.2时会出现梯度爆炸。
通常来说梯度消失或爆炸会导致很大的condation number 会导致选择合适的步长 变得困难。
4.2 精细的初始化
接下来会讨论在训练神经网络过程中三个主要的技巧。第一个是合理的初始化。
Naive initialization:
由于比较好的区域难以获得，比较简单的初始化方式包括以下几种。
- 所有值都初始化为0，
- 选择是只让其中的一部分点设置为非0点
- 让权重服从确定的随机分布
上述的几种初始化方式不一定总是有用，即使对某种特定的方式有用，也不一定对所有的方式有用。
LeCun initialization
对使用sigmoid 激活函数，使用初始化采用均值为0，方差为 ,也就是方差为1/fan-in, fan-in 是传入weight的节点数。
理论推导如下：考虑一个线性神经元有m个input 分别是x1,x2...xm, 假设input xi 均值为0 方差为1.那么y的均值为0 ，方差为
。为了满足y的方差也为1，选择权重w的方差为1/m 期望为0。 上述的推导适用于现象的激活函数，如果使用tanh的激活函数。tanh 在0附近和线性函数非常接近。因此
的方差会近似等于1。
Pre-training and Xavier initialization
Xavier initialization (or Glorot initialization )
或者有些时候被写作
fan-in和fan-out是输入和输出的维度。
Xavier initialization 可以推导如下：
对于前向传播，根据LeCun initialization 方差可以设置为1/fan-in。对于线性网络反向传播。 。方差可以设置为1/fan-out。为了平衡正向传播和反向传播。最终的方差为2/(fan-in+fan-out)。
Kaiming initialization
LeCun and Xacier initialization 是用于sigmoid activation functions。在接近0的地方梯度接近线性。 但是对于ReLu 这种激活函数，使用前面的两种初始化方法就不说很合适。ReLu函数相当于把信号切了一半，因次有人提出了新的初始化方法
Kaiming initialization 没有像Xavier initialization 一样平衡信号的输入和输出。但是最近有人提议集合平均的方法来初始化方差 ,其中c是常数。
Infinite width networks with general non-linear activations
Kaiming 初始化方法不能直接应用到其他的非线性激活函数中。
Finite width networks.
Dynamical isometry.
Dynamical isometry for other networks.
Computing spectrum.
4.3 Normalization 方法
第二种方法是在算法的过程中进行normalization。这种方法可以视为初始化方法的扩展，一种表达的方式是batch normalization。这种方式现在已经成为标准的技术。
数据准备：对于线性回归，通常对数据进行标准化。使的特征的分布均值为0，方差为1。来减少hessian matrix 的条件数。
Motivation of BatchNorm layerwise normalization
在比较深的神经网络中，希望每一层的网络都服从标准正态分布。未来实现这个目标。比较naive的方法是在更新完梯度之后normalize matrix。
Essence of BatchNorm
Add BN layers to original neural network。原始的BatchNorm paper生成 BatchNorm 减少 internal covariate shift。但是新的观点认为BatchNorm 减少了Lipschitz constants.有人认为BatchNorm 会允许更大的学习率。不使用BatchNorm的话，会使得奇艺值更大。
Other normalization methods
对于Batch normalization.对每个mini-batch 规范化。但是如果mini-batches没有相似的统计结果。那么BN的效果不会很好。研究者提出了其他normalization方法。例如weight normalization, layer normalization, instance normalization, group normalization and spectral normalization 和switchable normalization.
这些normalization 方法可以分为两大类。第一类 是对神经网络的输出立即进行normalization.batchNorm normalize the rows. Layer normalization normalized the columns. Group normalization normalizes sub matrix that consists of a few columns and a few rows.
第二类是直接normalize weight metrics.
4.4 改变网络结构
第三种方式是改变网络结果。在2014年人们意识到网络网络层数越深。结果越好，因此增加网络的深度变得非常普遍。然而，即使使用非常好的初始化和BN，训练超过20-30层的网络也是非常困难。在VGG中，56层的网络在训练集和测试集上的结果会比20 层的网络更差。
ResNet: ResNet的关键是增加一个skip-connection在每层。
F 代表原始的神经网络。
ResNet 实现了非常大的成功。
其他结构：high-way netowrks, DenseNet and ResNext. 虽然这些结构是人类设计的，但最新的成功是直接使用神经网络的自动搜索。制动搜素包括神经网络的参数，State-of art architectures EfficientNet 可以实现更好的结果。
ResNet 的分析和初始化
skip connections 的好处有很多，包括更好的泛化能力，更好的信号传播和更好的优化landscape。在ResNet中，梯度消失和梯度爆炸的情况可以避免，同时dynamic isometry可以在任何激活函数和初始化方法下实现。
4.5 训练ultra-deep 神经网络
有一些很少的方法来训练深度神经网络：
- Proper initialization,proper architecture BatchNorm.
- 非常精细的调整初始化点。
- 修正初始化方法和ResNet
除了上述方法，还有一些其他的设计来实现更好的神经网络，
数据预处理方法比如数据增强，adversrial training
优化方法如(optimization algo,learning rate schedule , learning rate dacay)
正则化方法(l2-norm,droo out）
神经网络架构，更深，更广，连接模式，
激活函数（RELU,Leak ReLU, tanh,swish等。
