Where does the error comes from
Bias and Variance
- error 的来源有两种—bias（偏差） 和 variance（方差）
- 偏差和方差.png
- 由上图可形象看出“偏差”是样本拟合出的结果的期望与样本真实结果的差距大小
- 而方差是拟合出的结果表现是否优良的稳定性。
Bias
-
代表客观存在的真实值，m的期望是和
- 表示在样本上拟合程度（样本和真实情况的偏差），low bias 代表在这些样本上拟合的好，所以就得复杂化模型（即，增加参数），容易overfitting（即，high variance）
- 解决方案：更多的参数，更复杂的模型
- 形象化语言：集中容易偏，分散容易中；画的线越贴合样本值，误差的点就越散开
Variance
- 那如何得到
呢？通过
来近似得到
-
- 表示在测试集上的表现情况，low variance 代表在测试集上表现稳定，所以就需要简化模型，（即，减少参数），容易underfitting（即，high bias）
- 解决方案：更多的训练数据，正则化
- Error的来源.png
模型选择—Cross Validation（交叉验证）
- 训练集中得到最小的Error(0.5)的model，并且在测试集上得到了Error最小(0.5)的情况，在真实场景下，大多数的情况会比0.5大，所以在实验室并不能得到一个在真实场景下的的error。
- 此时需要把Training Set拆分成Training Set和Validation Set，在Training Set和Validation Set上得到的最小error的值，放到整个Training Set中测试一遍，得到的error会更加接近真实情况。甚至可以分成两个Training Set和一个Validation Set。
- k折交叉验证
- 真实的情况是，会有k折交叉验证
