Bagging与随机森林

集成学习大类中常见的有两个子类:Bagging和Boosting。
本次记录一下Bagging以及其代表模型RandomForest。

Bagging思想

Bagging是并行式集成学习代表方法。基于“自助采样法”(bootstrap sampling)。自助采样法机制:给定包含m个样本的数据集,我们先随机取出一个样本放入采样集中,再把该样本放回初始数据集,使得下一次采样时该样本还会被采到。这样,经过m次样本采集,我们得到包含m个样本的采样集。采样集中,有的样本出现过很多次,有的没有出现过。Bagging机制:我们采样出T个含m个样本的采样集。然后基于每个采样集训练出一个学习器,再将学习器进行结合。对分类任务使用投票法,对回归任务采用平均值法。

学习流程

1、给定一个包含m个样本的训练集
2、随机地拿一个样本出来放入采样集中,再将该样本放回原始数据集中
3、经过m次随机采样,采样集中出现了m个样本,并且有放回地操作使得相同样本会多次出现在采样集中(也就是说随机采样的大小还是原始样本集的大小)
4、上述流程重复T次,我们得到T个包含m个样本的采样集,然后基于每个采样集训练出一个基学习器,再将基学习器结合。

预测方法

1)对于分类问题,采取简单的投票法,如果某两个类别的投票个数相同,那么就随机取一个。
2)对于回归问题,使用简单的平均法。

随机森林

1 思想

在bagging的基础上,添加了随机属性选择,传统决策树在选择划分属性时是根据当前节点的属性集合中选一个最优属性,而在RF中,对基决策树的每个节点,先从该节点的属性集合中随机选一个包含k个属性的子集,然后再从这个子集中选择一个最优属性用于划分。参数k控制了随机性的引入程度,若令k=全体属性个数,则基决策树与传统决策树相同,一般来讲,推荐k=log2d,其中d是全部属性个数。

2 为何RF是有效的?
  1. 从统计层面来看:
    学习任务的假设空间本身是很大的,可能有多个假设在训练集上达到同等性能,此时单学习器的泛化性能很弱,若使用学习器结合法,则能够改善这一现象。
  2. 从计算方面来看:
    学习算法往往会陷入局部极小,而局部极小值有时候反映的是泛化性能很差,而通过多次运行之后进行结合,则能够降低陷入局部极小的风险。
  3. 从表示方面来看:
    某些学习任务的真实假设可能不在当前学习算法多考虑的假设空间内,此时若使用单学习器一定无效。
3 RF的预测结合策略
  1. 平均法
    平均法分为完全平均和加权平均,加权平均的权重来自于基模型的权重,这个权重由训练数据学习得到。
    现实样本中的噪声点很多,这样使得学习出的权重不完全可靠,尤其是对于规模比较大的数据来说,要学习的权重比较多,容易过拟合。
    因此,并不一定加权平均就一定优于完全平均。一般而言,基学习器的差异较大时,可以选择加权,而基学习器相近时,宜使用简单平均。

  2. 投票法
    对分类任务来说:
    1-绝对多数投票:若某标记得票过半数,就接受。
    2-相对多数投票:预测为得票最多的那个类别,若同时出现多个最多,则随机选一个。
    3-加权投票:由样本学习到基学习器的权重,然后对预测值进行加权。

4 RF优势

1)一般情况下无需降维,算法本身就采取随机抽样降维
2)提供两种处理缺失值的方法
3)可以输出特征重要性
4)可以处理不均衡数据,内部原理是对高类别样本使用下采样,对于低类别样本采用上采样
5)容易并行化
6)Bagging中基学习器的“多样性”通过样本扰动(对初始训练集采样)而获得;随机森林中基学习器的“多样性”不仅来自于样本扰动,而且还可以通过随机属性扰动来获得。这使得随机森立的泛化性能可通过个体学习器之间差异程度的增加而进一步提升。随机森林的使其性能很差,但随着学习器的增加,性能很快就会变好,且强于Bagging。

转载注明:https://www.jianshu.com/p/f14481da685f

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,324评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,356评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,328评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,147评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,160评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,115评论 1 296
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,025评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,867评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,307评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,409评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,001评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2 353