[机器学习入门] 李宏毅机器学习笔记-35（Ensemble；集成方法）

上接part 1

Ensemble

Ensemble Boosting

AdaBoost

Algorithm for AdaBoost

这里写图片描述

上面
空白处为+1或-1，由下式决定。

这里写图片描述

于是：

这里写图片描述

我们要把这些classifier通通aggregate集合起来，怎么集合呢？

这里写图片描述

对 smaller error ,larger weight 的通俗理解就是，如果这个 f 本来就比较真确，那么最后算集合时投票权自然就大一点。

For example：
T=3, weak classifier = decision stump

这里写图片描述

ε1：error rate
d1：让example weight增加或减少的weight
α1：f1的weight，=ln(d1)
改变training data 的distribution，让 f1 废掉（红圈是分错的，乘以d1，其他除以d1），然后train f2。

这里写图片描述

与上一步同理。

这里写图片描述

最后把三个classifier合起来。

这里写图片描述

合起来后平面被分成六块，每一块都有自己的decision。
接下来要证明一句话：

这里写图片描述

warning of math

这里写图片描述

这里写图片描述

这里写图片描述

AdaBoost 有一个神奇的现象，左图，当classifer越来越多，training data 的error rate 很快变成0，但奇怪的是 test data 的error rate 依然会下降。右图，后来有人分析margin，classifer的增多会把margin往右推。

这里写图片描述

这里写图片描述

For example：

Adaboost + Decision Tree (depth = 5)

这里写图片描述

General Formulation of Boosting

Adaboost是一个特例。

这里写图片描述

这里写图片描述

这里写图片描述

Ensemble: Stacking

Voting

这里写图片描述

这里写图片描述