下面三幅图显示了对同一组数据取不同的特征值进行拟合的结果。
拟合程度
- 左边的是欠拟合。数据并不能十分恰当的落在直线上。
- 中间的是合理状态。数据基本落在了求出的直线上。
- 右边的是过拟合。 数据完美的落在了描绘的曲线上，这样会导致拟合出来的曲线不能泛化到需要预测的问题中，从而导致误差。
拟合问题是线性回归和逻辑回归中都存在的问题。下面是两种常见的解决方法:
- 减少特征数量:
- 手动选择特征的去留。
- 使用模型选择算法。
- 正则化 Regularization
- 保留所有特征，但是减少某一个参数θj的重要性。
- 当有许多有用的特征时，正规化将会非常有用。
1.正规化代价方程
比如我们有如下的参数，进行梯度下降的时候，发现了过拟合。
并不采取消除高次项的措施，而是将代价函数作如下修改。
在需要降低重要性的参数前，加上一个较大值。
也可以对所有的参数都进行正则化。
选取过大的λ会使得曲线过于光滑导致欠拟合，一般都可以先将λ参数选在1000左右。
原代价函数
正则化后的代价函数
2.正则化的梯度下降
同样对上述代价函数进行梯度下降，公式如下所示。
通常不对x0进行正则化
3.正规方程 Normal Equaltion
L就是将常数λ矩阵化，也就是除了x0外的单位矩阵
必须保证训练集数m>=参数数n，否则XTX不可逆，即XTX + λ⋅L 不可逆。
