AdaBoost

AdaBoost

1. 前向分步加法

H(x)=\sum_{t=1}^{T}{\alpha_t h_t(x)}
H_t(x)=H_{t-1}(x)+\alpha_th_t(x)
f(x)=sign(H(x))

2. 损失函数

  • 指数损失形式:
    L(y,H(x))=e^{-yH(x)}
  • 损失函数
    Loss=\sum_{i=1}^{N}{e^{-y_i(H_{t-1}(x_i)+\alpha_th_t(x_i))}}=\sum_{i=1}^{N}{w_{ti}e^{-y_i\alpha_th_t(x_i)}}
    = \sum_{y_i = h_t(x_i)}{w_{ti}e^{-\alpha_t}} + \sum_{y_i \neq h_t(x_i)}{w_{ti}e^{\alpha_t}}
    w_{ti}=e^{-y_iH_{t-1}(x_i)}

3. 推导

  • 计算h_t(x)在强分类器中所占的权重
    Loss 对 \alpha_t 求导 \frac{\partial Loss}{\partial \alpha_t} = 0 得该分类器得权重
    \alpha_t^* = \frac{1}{2} \ln \frac{1-e_t}{e_t}
    其中e_t为错误率, 就是被h_t(x)误分类样本的权值之和
  • 更新训练数据集的权值分布
    w_{t+1, i}=\frac{w_{t, i}}{Z_t}e^{-y_i\alpha_th_t(x)}
    Z_t=\sum_{i=1}^{N}{w_{t,i}e^{-y_i\alpha_th_t(x)}}
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容