AdaBoosting推导过程

一、AdaBoosting算法

Adaboosting中的A是adaptive的意思，所以AdaBoosting表示自适应增强算法。Adaboosting算法可以将弱分类器通过数次迭代增强为强分类器。Adaboosting算法在每一步弱分类器收敛后，会将错误的分类权重加大，错误率越高，对应得到的当前弱分类器权重越小，最后按照权重将每一个弱分类器组合起来就是Adaboosting的结果

图1 adaboosting算法示意图

二、Adaboosting推导

AdaBoost算法使用加法模型，损失函数为指数函数，学习算法使用前向分步算法。加法模型为：

指数损失函数为：


前向算法的意思就是下一步的推导计算要用上一步的结果，因此我们需要最小化下面的式子


1.参考MLAPP

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容