参数调试技巧

神经网络涉及了许多不同的超参数，这些参数包括神经网络层数，学习率和adam优化算法参数等，一些系统性的参数调试技巧如下所示：

网格取值
在传统的机器学习领域，假设有两个超参数，称之为超参1，超参2，常见的做法是在网格中取样，假设是5×5的网格，可以尝试所有的25个点，然后选择哪种效果更好，当参数数量较少时，这种方法较为实用。
随机取值
在深度学习领域，常见的做法是对随机选择法，即选择同等数量的点，然后用这些随机取样的点试验超参数的效果，之所以这样做的原因是因为在深度学习领域，很难知道哪些参数对模型的影响更重要。例如学习率 $\alpha$ 比参数 $\epsilon$ 对模型的影响更大。随机取值比网格取值探究了更多的可能。

调试超参数时，另一个技巧就是遵循由粗到细的原则，如下图所示，假设一个二维参数中，可能效果最好的那个参数点，附近的其他点的效果也很好，可以放大这块区域，然后在这些区域尝试更多的取值。比较这些取值的效果。如下图所示：

为超参数选择合适的范围

在超参数的调试范围中，随机取值会提升参数选择的效率，但是随机取值并不是均匀分布的随机取值，通常会根据参数的分布选择合适的范围。

假设，需要选择的参数是神经网络的层数 $L$ ，这些参数的分布可能是均匀的，比如2，3，4等，但是，随机均匀的分布对一些超参数的选择是不合理的。

以超参数学习率 $\alpha$ 为例，假设参数的取值分布范围是 $(0.0001,1)$ ，如果是随机均匀分布，则90%的数据都会分布在 $(0.1,1)$ 之间，参数的选择过程，可能会浪费大量的时间和资源。对于这种情况，一种有效的解决方案是采用对数坐标，在对数坐标上取值，这时候随机值的分布将会从 $(10^{-4},10^{0})$ 变成 $(-4,0)$ ，在对数轴上实现了随机均匀的取值。用python的实现如下：

r  = -4*np.random.rand()  # 取值范围是(-4,0)
learning_rate = 10^r

另一个超参数是指数加权平均法中用到的参数 $\beta$ ，一般认为该参数的取值范围是 $(0.9,0.999)$ ，对于这样的分布，由于公式 $\frac{1}{1-\beta}$ 的存在，当 $\beta$ 的取值接近1时，会对细微的变化及其敏感，如 $\beta \in (0.9,0.9005)$ 之间时，可能影响不大，但是当取值从范围在 $(0.995,0.999)$ 之间时，会对结果有显著的影响。一种有效的办法是将其转化为从 $(1-\beta)$ 的分布，此时，随机取值分布将会变成 $(0.001,0.1)$ ，在通过对数坐标将其转化为 $(-3,-1)$ 以便给得到随机均匀分布的取值。

归一化网络的激活函数

深度学习领域中，最重要的一个思想是归一化思想，之前的学习中，经常将数据集的输入特征 $X$ 归一化，这样的能够使得神经网络对超参数的选择更加稳定，也能够使得超参数的调节范围更加庞大，工作效果也会更好。除了对输入特征 $X$ 使用归一化之外，对神经网络的每一个隐藏层总的隐藏值 $z^{[l](i)}$ 也可以使用归一化，具体的工作如下所示:

求取每一层网络中隐藏值的均值：
$\mu = \frac{1}{m}\sum_{i=1}^{m} z^{(i)}$
求取方差
$\sigma^2 = \frac{1}{m} \sum_{i=1}^{m}(z^{(i)} - \mu)^2$
归一化
$z^{(i)}_{norm} = \frac{z^{(i)}-\mu}{\sqrt{(\sigma^2+\epsilon)}}$
其中，分母上加上 $\epsilon$ 的原因是为了防止分母变为0，一般取 $\epsilon = 10^{-8}$

实现以上过程之后，隐藏层的输入值其均值就会变为0，方差变为1，但是，也许，隐藏单元不同的分布才会有意义，可以通过 $\gamma$ 参数和 $\beta$ 参数加以调节，具体的实现公式如下所示：

$\widetilde{z}^{(i)} = \gamma z_{norm}^{(i)} + \beta$

假如令 $\gamma = \sqrt{\sigma^2 + \epsilon}，\beta = \mu$ ，则有 $\widetilde{z}^{(i)} = z^{(i)}$

在使用梯度下降算法或者其他优化算法时，可以更新参数 $\gamma$ 和参数 $\beta$ 。

batch归一化的作用是不仅可以归一化输入特征 $X$ ，同样适用于神经网络中的深度隐藏层。通过归一化更加有助于神经网络的学习，与输入特征归一化相比，隐藏层的归一化可以通过参数实现可控归一化，可以根据实际应用，确定隐藏层的均值和方差。

将batch归一化拟合进神经网络

实现了隐藏层的batch归一化之后，需要将其拟合进神经网络中，假设有一个神经网络的结构如下图所示：

实现这个过程可以分为以下步骤：

归一化输入特征 $X$ 并计算隐藏层的值 $z^{[1]} = w^{[1]}x +b$
归一化隐藏层中的 $z^{[1]}$ ，并根据激活函数 $a^{[1]} = g(z^{[1]})$ 计算激活函数的输出。
根据 $z^{[2]} =w^{[2]}a^{[1]} +b^{[2]}$ 计算 $z^{[2]}$ 并归一化 $z^{[2]}$
计算输出 $a^{[3]} = g(z^{[2]})$

注意： 使用batch归一化之后，此时，神经网络的参数将会变成 $w^{[l]}$ , $b^{[l]}$ 和归一化参数 $\gamma,\beta$ 。

mini-batches 中的归一化

在实践中，归一化通常和训练集的mini-batch一起使用。对于每一个隐藏层，其使用方式如下：

使用 $mini-batch(X^{\{ i\}})$ ，根据参数 $w^{[l]},b^{[l]}$ 计算得到 $z^{[l]}$ .
使用归一化减去均值，除以标准差，再用 $\beta^{[1]},\gamma^{[l]}$ 经过重新缩放，得到 $\widetilde{z}^{[l]}$ .

注意：*每层的参数都是 $w^{[l]}和b^{[l]}$ ，还有 $\beta^{[l]}$ 和 $\gamma^{[l]}$ ,但是在归一化的过程中，无论 $b^{[l]}$ 的值为多少，都是要被减去的，所以在归一化中，可以消除这个参数，或者将 $b^{[l]}$ 设置为0.此参数的作用会由 $\beta^{[l]}$ 代替，影响转移或者偏置的条件。

综上，使用归一化之后，梯度下降的更新过程的伪代码表示如下所示：

for t in  mini-batches:
  在 mini-batch{t}上应用前向传播
     在每一个隐藏层中应用归一化，将z转化为z_norm
  使用反向传播更新参数的值，更新公式如下所示：
  wl = wl - learning_rate*dwl
  beta_l = beta_l - learning_rate*dbeta_l
  gamma_l = gammal - learning_rate*dgamma_l

Batch归一化奏效的原因

关于batch归一化所起的作用由如下解释

通过归一化输入特征值 $x$ ，使其均值为0，方差为1，可以加速学习。
batch归一化有效的第二个原因是因为能够使权重比拟的网络更滞后或者能够使网络更深层的权重更能经受得住变化，具体解释如下：

当数据分布改变(Covariate shift），如果这些数据已经学习了 $x$ 到 $y$ 的映射， $x$ 的分布发生了改变，此时需要重新训练学习算法。

对于一个深度神经网络而言，从隐藏层的角度而言，能够利用前层中取得的值和和获得的参数，能够使的输出值 $\hat{y}$ 尽可能的接近真实值 $y$ .

以下图中的神经网络结构为例，这个网络通过学习，参数 $w^{[l]},b^{[l]}$ 不断发生改变，隐藏值的输入 $a^{[2]}$ 也会发生改变，就以第三层隐藏层的角度而言，通过一层层的学习，这些隐藏单元的值不断的发生改变，于是就有了”Covariate shift“的问题。

batch归一化的作用就在于能够确保隐藏层的值 $z^{[l]}$ 发生改变时，其均值和方差不会发生变化，也就是限制了在前层的参数更新所引起的数值分布改变的影响。batch归一化减少了输入值改变的影响，当输入值发生改变时，能够迫使后层适应的程度减小了，也就是削弱了前层参数与后层参数作用之间的联系，使得网络每一层的学习更加独立，有助于加速整个网络的学习。

除此之外，由于mini-batch的作用，归一化过程所求得的方差和均值只是当前样本大小的，与整体样本相比，会存在一些噪音，会带来轻微的正则化的效果，迫使后部单元不过分依赖任何一个隐藏单元，类似于dropout。对此，当dropout和mini-batch一起使用是，较大的mini-batch可以减少正则化的效果。

测试时的 batch归一化

batch归一化会将数据以mini-batch的形式逐一处理，但是，在测试时，可能需要对每一个样本逐一处理，此时归一化中的均值 $\mu$ 和方差 $\sigma^2$ 对于单个样本没有意义，此时需要单独估算 $\mu$ 和 $\sigma^2$ .

可以采用指数加权平均的方法估计 $\mu$ 和 $\sigma^2$ ，这个指数加权平均的过程涵盖了所有的mini-batch，具体的实现方式如下所示：

计算神经网络每一个隐藏层中每一个mini-batch的均值 $\mu^{\{ t\}[l]}$ 和方差 $\sigma^{2\{ t\}[l]}$ .
利用指数加权平均的方法计算每一个隐藏层中的均值和方差。

softmax回归

之前学习的逻辑回归都是进行二元分类的，这种分类标准的输出是0和1，但是，当需要多元分类时，可以使用softmax激活函数来实现，具体如下所示：

在实现多元分类时，用 $C$ 表示需要类别数，假设有4个类别，则可以用 $[0,1,2,3]$ 表示，表示在输入 $X$ 的情况下，分别输出 $[0,1,2,3,4]$ 这四种类别的概率，并且，这四种类别的概率相加应该等于1.

就以神经网络而言，隐藏值的计算方法如下公式(1)所示：
$z^{[l]} = w^{[l]}a^{[l-1]} + b^{[l]} \tag{1}$

在计算softmax激活函数之前，需要计算一个临时变量，具体如公式（2）所示，其中 $z^{[l]}$ 是4×1的，所以临时变量 $t$ 也是4×1的向量。
$t = e^{z^{[l]}} \tag{2}$

根据以上求得的临时变量，计算输出 $a^{[l]}$ ，如下公式（3）所示：
$a^{[l]} = \frac{t}{\sum_{i=1}^C t_i} \tag{3}$

对于 $a^{[l]}$ 这个向量具体的某个值的计算，如下公式（4）所示：
$a_i^{[l]} = \frac{t_i}{\sum_{i=1}^C t_i} \tag{4}$

以一个实际例子为例，假设向量 $z^{[l]} = \left[ \begin{matrix} 5 \\ 2 \\-1 \\3\end{matrix}\right]$ ，根据公式（1）计算，得到 $t = \left[ \begin{matrix} e^5 \\ e^2 \\e^{-1} \\e^3\end{matrix}\right] = \left[ \begin{matrix} 148.1 \\ 7.4 \\0.4 \\20.1\end{matrix}\right]$ .

在根据公式（3）计算可以得到每个节点输出概率的向量，如下所示：
$a^{[l]} = \left[ \begin{matrix} 148.1/(148.1+7.4+0.4+20.1) \\ 7.4 /(148.1+7.4+0.4+20.1)\\0.4/(148.1+7.4+0.4+20.1) \\20.1 /(148.1+7.4+0.4+20.1)\end{matrix}\right] = \left[ \begin{matrix} 0.842 \\ 0.042 \\0.002 \\0.114\end{matrix}\right]$