Adaboost📒

个体学习器: 决策树, 神经网络

Boosting思想:

    给定初始训练数据,由此训练出第一个基学习器。

    根据基学习器的表现对样本进行调整,对于学习器做错的样本投入更多关注。

    用调整后的样本,训练下一个基学习器。

    重复上述过程T次,将T个学习器加权结合。

Boosting的代表是Adaboost,相比其他学习算法,不会很容易出现过拟合现象。

AdaBoosting例子:

“+”, “-”表示两种类别

一共十个样本,所以每个样本权重0.1

1.

第一次划分3个点划分错误,根据误差表达式 e1=(0.1+0.1+0.1)/1.0=0.3

分类器权重

对于正确分类的7个点,权重不变,对于错分的3个点,权重为

D1=D0*(1-e1)/e1=0.1*(1-0.3)/0.3=0.2333


第二次分类,有三个“-”分类错误

权重值和为 0.1 * 7 + 0.2333*3 = 1.3990

分类误差为 0.1*3 / 1.3990 = 0.2114

分类器权重为 0.6493

错分的三个点权重值为 D2=0.1*(1-0.2144)/0.2144=0.3664

第三次:



源自 https://www.jianshu.com/p/389d28f853c0

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容