10 应用机器学习的建议
10.1 决定下一步做什么
假设再预测房价时产生巨大误差，采用什么方法改进？
- 可以收集训练样本（但是事实上并没有什么用）
- 选用更少或者更多的特征集，防止过拟合
- 尝试减少特征的数量
- 尝试获得更多的特征
- 尝试增加多项式特征
- 尝试减少正则化程度𝜆
- 尝试增加正则化程度𝜆
但是如何选择可以使节约时间？
——机器学习诊断法
10.2 评估一个假设
如何评价是否过拟合？
——画图，但是一般不可行。多维画不出来
另一种方法：
将数据分成训练集(70%) 和测试集(30%) 。两个数据集均要含有各类型数据，所以先“洗牌”。
思想就是通过训练集求出参数（计算出代价函数），对测试集运用该模型计算测试误差：
- 对于线性回归模型，用训练集计算出代价函数 J ，然后将测试集带入，计算测试误差。
-
对于逻辑回归模型，同样的。可以用测试数据集计算代价函数
这种方法也叫 0/1 错误分类度量
10.3 模型选择和交叉验证集
为什么要有交叉验证集
假设在10个不同次数的二项式模型之间进行选择
如果我们还使用之前的方法，那就还需要设置一个新的参数d，代表多项式次数。然后每个多项式我们都进行一次拟合计算参数，用测试集测试，选取最合适的模型。假设选取了d=5这个模型，我们想知道他对新样本的泛化能力。
用参数 d=5 拟合得到模型，然后 d=5 是最好地拟合测试集的参数，所以模型对测试集的表现好过于它没见过的新样本。
使用 60%的数据作为训练集，使用20%的数据作为交叉验证集，使用20%的数据作为测试集 。
模型选择的方法为：
- 使用训练集训练出 10 个模型
- 用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
- 选取代价函数值最小的模型
-
用步骤 3 中选出的模型对测试集计算得出推广误差（代价函数的值）
Train/validation/test error
交叉验证误差最小的作为假设模型。不用测试集拟合，用测试集估计泛化误差。
10.4 诊断方差和偏差
方差偏大：过拟合； 偏差偏大：欠拟合
下面这张图是训练集和交叉测试集再不同参数d上的代价函数误差
当出现高偏差问题时，参数d小，此时训练集模型拟合程度低，交叉验证集的模型拟合程度低（两个代价函数值都很大-> **训练集误差和交叉验证集误差近似时：偏差/欠拟合 **）；出现高方差问题时，训练集模型拟合程度高，交叉验证集模型拟合程度低（训练集代价函数值小，交叉验证集大-> 交叉验证集误差远大于训练集误差时：方差/过拟合 ）
10.5 正则化和偏差/方差
首先正则化是干嘛的——正则化的基本方法就是再一定程度上减小这些高次项参数的值，从而减小过拟合的情况。
回顾一下lamada和参数的关系
- lamada很大，那对所有参数的惩罚都很重（正则化过度），所有参数都接近于0：则高偏差，欠拟合
- 适中，合理
- lamada很小，惩罚不够，高次项的参数有可能很大：则高方差，过拟合
所以lamada选择很重要，介绍如何选择lamada。举个例子
1.使用训练集训练出 12 个不同程度正则化的模型（就是得到12个参数向量）
2.用 12 个模型分别对交叉验证集计算的出交叉验证误差
3.选择得出交叉验证误差最小的模型
4.运用步骤 3 中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与 λ 的值绘制在一张图表上：
在这里训练误差和交叉验证误差定义为不包括正则化项，
• 当 𝜆 较小时，训练集误差较小（过拟合）而交叉验证集误差较大
• 随着 𝜆 的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加
10.6 学习曲线
解决：如何绘制学习曲线、用学习曲线判断高偏差/方差问题。
绘制 Jtrain(训练集误差) Jcv(交叉验证集误差) 随训练样本数的变化。可以知道当样本数很小时，训练集会很好的拟合（因为就这么几个数），但是交叉验证集不好拟合。随着样本数增加，训练集难以很好的拟合，但是交叉验证集拟合程度变好。
如何利用学习曲线识别高偏差/欠拟合：作为例子，我们尝试用一条直线来适应下面的数据，可以看出，无论训练集有多么大误差都不会有太大改观：
两条曲线会很快的水平，并且误差很大又十分接近，因为增加训练集不会减小误差，不一定有帮助
如何利用学习曲线识别高方差/过拟合：假设我们使用一个非常高次的多项式模型，并且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数据可以提高模型的效果。
从图像上可以看出两条曲线是很慢的在接近，训练集增大的时候难以拟合，但是误差还是比较小；此时还处于过拟合，交叉验证还是有接近的趋势集误差比较大，二者有很大差距。但是最后。在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。
10.7 现在可以知道下一步怎么做了
- 获得更多的训练实例——解决高方差 (过拟合)
- 尝试减少特征的数量——解决高方差
- 尝试增加正则化程度 λ——解决高方差
- 尝试增加多项式特征——解决高偏差 (欠拟合)
- 尝试减少正则化程度 λ——解决高偏差
- 尝试获得更多的特征——解决高偏差
通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。
