过拟合现象
为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。简言之，就是与样本拟合的很好，但是不能很好的预测实际的情况。
线性回归的过拟合现象：
线性回归
逻辑回归的过拟合现象：
逻辑回归
解决方案
减少特征量
- 人工检查变量，决定哪些更加重要，哪些应该舍弃。
- 模型选择算法：为了自动的完成“人工检查变量”
正则化
正则化思想是保留所有的特征量，只改变参数的大小，通过惩罚一些参数得到更为简单的假设函数。
以线性回归为例：
我们可以把代价函数写成这样：
注：的序号从1开始而不是从0开始，
叫做正则化参数是一个整数。
的目的是为了平衡两个目标。
- 第一个目标就是我们想要训练，使假设更好地拟合训练数据。
- 第二个目标是我们想要保持参数值较小
求解
仍然有两种方法：
- 梯度下降
- 代数方法：
