二、改善深层神经网络：超参数调试、正则化以及优化

5.1.3 机器学习基础

首先检查网络在train data上的偏差，如果偏差较大，考虑使用更大的网络、训练更长的时间、尝试其他算法和新的网络

然后考虑网络在valid data上的方差，如果方差较大，考虑使用更多的数据、正则化

补充：偏差和方差的定义，链接：深入了解偏差、方差

1、偏差bias

偏差是指预测结果与真实值之间的差异，排除噪声的影响，偏差更多的是针对某个模型输出的样本误差，偏差是模型无法准确表达数据关系导致，比如模型过于简单，非线性的数据关系采用线性模型建模，偏差较大的模型是错的模型；

2、方差variance

模型方差不是针对某一个模型输出样本进行判定，而是指多个(次)模型输出的结果之间的离散差异，注意这里写的是多个模型或者多次模型，即不同模型或同一模型不同时间的输出结果方差较大，方差是由训练集的数据不够导致，一方面量 (数据量) 不够，有限的数据集过度训练导致模型复杂，另一方面质(样本质量)不行，测试集中的数据分布未在训练集中，导致每次抽样训练模型时，每次模型参数不同，输出的结果都无法准确的预测出正确结果；

7.1.4 正则化

$J(w,b)=\frac{1}{m}\sum_{i=1}^mL(\hat{y}^{(i)} , \hat{y}^{(i)} )+\frac{\lambda }{m}\parallel w \parallel _{2}^2$

其中 $\parallel w \parallel _{2}^2 =\sum_{j=1}^{n_x}w_j^2=w^Tw$ ，λ为正则化参数，该公式为L2正则化

对应的有L1正则化

补充：正则化、标准化、归一化，链接：正则化、标准化、归一化的区别

归一化（Normalization）1.把数据变为（0，1）之间的小数。主要是为了方便数据处理，因为将数据映射到0～1范围之内，可以使处理过程更加便捷、快速。 2.把有量纲表达式变换为无量纲表达式，成为纯量。经过归一化处理的数据，处于同一数量级，可以消除指标之间的量纲和量纲单位的影响，提高不同数据指标之间的可比性。

标准化（Standardization）数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。

正则化（Regularization）用一组与原不适定问题相“邻近”的适定问题的解，去逼近原问题的解，这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法。

总的来说，归一化是为了消除不同数据之间的量纲，方便数据比较和共同处理，比如在神经网络中，归一化可以加快训练网络的收敛性；标准化是为了方便数据的下一步处理，而进行的数据缩放等变换，并不是为了方便与其他数据一同处理或比较，比如数据经过零-均值标准化后，更利于使用标准正态分布的性质，进行处理；正则化而是利用先验知识，在处理过程中引入正则化因子(regulator)，增加引导约束的作用，比如在逻辑回归中使用正则化，可有效降低过拟合的现象。

最后编辑于：2020.07.29 16:35:25