李宏毅ML02—Where does the error comes from

Where does the error comes from

Bias and Variance

  • error 的来源有两种—bias（偏差） 和 variance（方差）
  • 偏差和方差.png
  • 由上图可形象看出“偏差”是样本拟合出的结果的期望与样本真实结果的差距大小
  • 而方差是拟合出的结果表现是否优良的稳定性。

Bias

  • m=\frac{1}{N}\sum\limits_nx^n\neq\mu
  • E[m]=\frac{1}{N}\sum\limits_nE[x^n]=\mu
  • \mu代表客观存在的真实值，m的期望是和\mu相等的
  • 表示在样本上拟合程度（样本和真实情况的偏差），low bias 代表在这些样本上拟合的好，所以就得复杂化模型（即，增加参数），容易overfitting（即，high variance）
  • 解决方案：更多的参数，更复杂的模型
  • 形象化语言：集中容易偏，分散容易中；画的线越贴合样本值，误差的点就越散开

Variance

  • Var[m]=\frac{\sigma^2}{N}
  • 那如何得到\sigma^2呢？通过s^2来近似得到
  • s^2=\frac{1}{N}\sum\limits_n(x^n-m)^2
  • E[s^2]=\frac{N-1}{N}\sigma^2
  • s^2的期望会略微小于\sigma^2，随着N的增大会越接近
  • 表示在测试集上的表现情况，low variance 代表在测试集上表现稳定，所以就需要简化模型，（即，减少参数），容易underfitting（即，high bias）
  • 解决方案：更多的训练数据，正则化
  • Error的来源.png

模型选择—Cross Validation（交叉验证）

  • 训练集中得到最小的Error(0.5)的model，并且在测试集上得到了Error最小(0.5)的情况，在真实场景下，大多数的情况会比0.5大，所以在实验室并不能得到一个在真实场景下的的error。
  • 此时需要把Training Set拆分成Training Set和Validation Set，在Training Set和Validation Set上得到的最小error的值，放到整个Training Set中测试一遍，得到的error会更加接近真实情况。甚至可以分成两个Training Set和一个Validation Set。
  • k折交叉验证
  • 真实的情况是，会有k折交叉验证
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容