偏差和方差的区别，bagging和boosting

集成学习

符号的定义：模型为f，模型在多个同样大小训练集上的均值为\bar{f}，训练集为D.
偏差，学习算法的预测期望与真实结果的偏离程度，刻画的是学习算法本身的拟合能力；
bias^2(x)=E[\bar{f}(x)-y]
方差，同样大小训练集的变动所导致的学习性能的变化，刻画的是数据扰动造成的影响(模型的稳定性)；
var(x)=E[(f(x)-\bar{f}(x))^{2}]
噪声，表达的是在当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画了学习问题本身的难度。
\epsilon^2=E[(y_D-y)^2]
减少偏差的方法: boosting算法；
减少方差的方法: bagging算法。

  • 推导
    Err=E[(f-y_D)^2]\\ =E[(f-\bar{f}+\bar{f}-y_D)^2]\\ =E[(f-\bar{f})^{2}]+E[(\bar{f}-y_D)^2]+2E[(f-\bar{f})(\bar{f}-y_D)]\\ \{由于E(f)-E(\bar{f})=0,第三项等于0\}\\ =E[(f-\bar{f})^{2}]+E[(\bar{f}-y_D)^2]\\ =E[(f-\bar{f})^{2}]+E[(\bar{f}-y+y-y_D)^2]\\ =var(x)+E[(\bar{f}-y)^{2}]+E[(y-y_D)^{2}]+2E[(\bar{f}-y)(y-y_D)]\\ \{由于E[y_D]-E[y]=0,第三项等于0\}\\ =var(x)+bias^{2}(x)+\epsilon^{2}
    即，误差可以分解为方差、偏差和噪声。
  1. 西瓜书-2.5
  2. Understanding the Bias-Variance Tradeoff
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容