自举汇聚法,也称为bagging方法,是在从原始数据集选择s次后 得到s个新数据集的一种技术。新数据集和原数据集的大小相等。每个数据集都是通过在原始 数据集中随机选择一个样本来进行替换而得到的。这里的替换就意味着可以多次地选择同一 样本。这一性质就允许新数据集中可以有重复的值,而原始数据集的某些值在新集合中则不 再出现。
在s个数据集建好之后,将某个学习算法分别作用于每个数据集就得到了s个分类器。当我们 要对新数据进行分类时,就可以应用这s个分类器进行分类。最终采用投票机制,得票多的即为样本所属分类。
boosting是基于所有分类器的加权平均求结果的。而bagging的分类器权重是相同的,共同投票得出结果。
image.png
这里引用了网上的一张图。不再过多赘述。
由于深度学习算法的应用越来越广,机器学习的这些算法就不在做过多简介了。后续开始介绍深度学习算法。