过拟合(over-fitting)
过拟合：过于强调拟合原始数据，而丢失了算法的本质：预测新数据。
欠拟合 恰好 过拟合 三者对比
分类问题中也存在类似的问题：
解决办法：
- 丢弃一些不能帮助正确预测的特征
手工选择保留哪些特征或者使用一些模型选择的算法（例如PCA） - 正则化(magnitude)
保留所有的特征，但是减少参数的大小。
调整代价函数
回归模型
正是高次项导致了过拟合的产生。
目标：让高次项系数接近于0。
修改代价函数：
为和
设置惩罚
问题：并不知道其中哪些特征需要惩罚
思路：对所有特征进行惩罚，让代价函数最优化的软件来选择这些惩罚的程度。
注：通常不对
进行惩罚。
分析：
-
过大，除
，是一条平行于
的直线，导致欠拟合。
正则化线性回归
- 梯度下降求解
可以看到，每次除了以外
均在原有的算法更新规则的基础上减少了一个额外的值。
- 正规方程求解
正则化的逻辑回归模型
对于逻辑回归，也给代价函数增加一个正则化的表达式，得到：
增加一项
计算过程同上文的线性回归，但是由于模型不同，所以二者有本质不同。
注意：
