Bagging---Bootstrap aggregating
是并行式集成学习方法最著名的代表，基于自助采样法允许在同一种分类器上对训练集进行多次采样
自助采样法(bootstrap sampling)
给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，经过m次随机采样操作，得到m个样本的采样集，初始训练集中约有63.2%的样本出现在采样集中。
Bagging的基本流程
采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。
Bagging
例子
1.因为每个样本被选中的概率相同，所以bagging并不侧重于训练数据集中的任何特定实例
2.从偏差-方差的角度，Bagging主要关注降低方差，因此它在容易受到样本扰动的学习器（如不剪枝的决策树、神经网络）中效果更明显。意思就是说不容易受极端样本影响，因为最后是投票的，所以降低了方差
Bias-Variance
随机森林(Random Forest RF)
RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。
传统决策树在选择划分属性时是在当前结点的属性集合(假定有d个属性)中选择一个最优属性；
在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的集合，然后再从这个子集中选择一个最优属性用于划分。一般情况下，推荐值k=log2d
Random Forest
Boosting 和 Bagging 的区别
