前言

本文旨在学习和记录，如需转载，请附出处https://www.jianshu.com/p/beb772848c3b

训练trick

cs231n系列博客之(4),(5),(6)分别介绍了网络参数初始化、Normalization和参数更新的方法，这一节主要介绍在神经网络中其他的训练trick。

1、dropout

dropout是一种简单而且非常有效的的正则化方法

image.png

def dropout_forward(x, dropout_param):
    """
    Performs the forward pass for (inverted) dropout.

    Inputs:
    - x: Input data, of any shape
    - dropout_param: A dictionary with the following keys:
      - p: Dropout parameter. We keep each neuron output with probability p.
      - mode: 'test' or 'train'. If the mode is train, then perform dropout;
        if the mode is test, then just return the input.
      - seed: Seed for the random number generator. Passing seed makes this
        function deterministic, which is needed for gradient checking but not
        in real networks.

    Outputs:
    - out: Array of the same shape as x.
    - cache: tuple (dropout_param, mask). In training mode, mask is the dropout
      mask that was used to multiply the input; in test mode, mask is None.

    NOTE: Please implement **inverted** dropout, not the vanilla version of dropout.
    See http://cs231n.github.io/neural-networks-2/#reg for more details.

    NOTE 2: Keep in mind that p is the probability of **keep** a neuron
    output; this might be contrary to some sources, where it is referred to
    as the probability of dropping a neuron output.
    """
    p, mode = dropout_param['p'], dropout_param['mode']
    if 'seed' in dropout_param:
        np.random.seed(dropout_param['seed'])

    mask = None
    out = None
    M,D = x.shape

    if mode == 'train':
        keep_prob = 1- p
        mask = (np.random.rand(M,D)<keep_prob)/keep_prob
        out = x*mask

    elif mode == 'test':
        out = x
    cache = (dropout_param, mask)
    out = out.astype(x.dtype, copy=False)

    return out, cache


def dropout_backward(dout, cache):

    dropout_param, mask = cache
    mode = dropout_param['mode']

    dx = None
    if mode == 'train':
        dx = mask*dout
    elif mode == 'test':
        dx = dout
    return dx

注意：dropout的实现方式有两种：1、在训练时随机失活输出除以keep_prob，测试不进行任何操作；2、训练时随机失活，测试时乘以keep_prob。这两种方法都能实现训练和测试时神经元输出的期望一致。在实际操作中，由于我们期望测试时时间性能足够好，所以一般使用第一种方法。
dropout如今在网络训练中经常被使用，其思想跟集成学习很类似，集成学习让多个模型单独学习，推理时再把多个模型综合。dropout随机删除神经元，并且每次让不同的模型学习，最后测试时所有神经元输出乘以激活比例，达到了一个网络学习多个模型的目标。

2、调整学习率

学习率控制着网络训练的进程，学习率如果太小，网络训练太慢，时间消耗大；学习率如果太大，网络直接发散。所以如何找到一个适合网络训练的学习率尤其重要。

image.png

在训练神经网络时，我们一般在起初训练时给较大的学习率，这样扩大参数的搜索范围；在一段时间上，给较小的学习率，这样易于收敛。

1. step decay
   学习率在一定epochs下乘以一个小数。

   
   
   step decay.png
2. Cosine
   学习率采用余弦退火下降的方法：
   
   Cosine.png
3. linear decay
   学习率采用线性下降的方法：
   
   linear decay.png
4. Inverse Sqrt
   学习率采用逆开根号下降的方法：
   
   Inverse sqrt.png
5. Linear Warmup
   高的初始学习会导致loss剧增，可以在训练初期先线性增加学习率，然后再下降，可以预防该种线性的产生。
   
   linear warmup
   
   经验：如果BatchSize增加2倍，学习率也相应增加2倍。

3、选择超参数

1. 检查初始损失值（如果采用softmax分类器，初始损失会解决log(C),C为类别）
2. 选择小样本训练网络，使训练精度达到100%（学习率，网络初始化，结构）
   如果损失值不下降，则学习率太小或者很差的初始化；
   如果损失直接到Inf或者Nan，则学习率太大或者很差的初始化
3. 找到一个学习率能够使loss下降
   使用步骤2找到的模型，使用所有的训练数据，开启小的权重正则化，找到一个相对好的学习率能够在100iters内衰减。好的学习率尝试：, 常用的参数正则化参数尝试：
4. 粗网络调节，训练1~5epochs
   选择一些学习率和正则化参数学习3种的模型，训练其在1--5个epochs
5. 找到步骤4中最好的模型参数并训练10~20epochs,此时不添加任何学习率衰减；
6. 查看损失曲线
   很差的初始化：
   
   image.png
   
   此时可以参数学习率衰减
   注意不要在loss还在下降的时候用学习率衰减
   
   image.png
   
   精度仍在提高，需要继续训练
   
   image.png
   
   有过拟合的趋势，需要增加正则化
   
   image.png
7. 调到步骤5

总结

1. 介绍了dropout正则化原理及其实现；
2. 常见的学习率衰减技巧
3. 调节超参数的方法。

当然，神经网络的训练技巧还有很多，这里介绍的只是cs231n里的一部分，此外还有数据增强，Dropconnect等技巧。

参考

cs231n课件