过拟合（Overfitting）

先看图

解释过度拟合

• 左边的结果，拟合不好，偏差过高，意味着系统误差设置过高
• 中间的结果，是希望得到的结果
• 右边的结果就是本文的主角，过拟合，方差过高，意味着衡量模型一致性的指标过高，即针对不同数据的表现差别会很大

正则化优化模型复杂度,本质上是权衡bias和variance
正则化则是对模型参数添加先验，使得模型复杂度较小，对于噪声以及离群点的输入扰动相对较小
常用的正则化方法为L2正则化，如下公式，这个方法的思想是引入一个额外信息用于惩罚极端参数，防止模型过度复杂，发生过拟合现象

L2正则化

加入正则项之后的代价函数为

加入正则项之后的代价函数

λ是正则化参数，通过控制λ的大小来控制正则项，引入参数C来表示λ，这个约定来自SVM

Paste_Image.png

引入参数C后，原来的代价函数改写为，C越小，这正则化的约束能力越强

Paste_Image.png

强正则化会削弱其它特征的影响力，极端情况，会导致Y=W_0，预测边界趋于一条直线，造成欠拟合