18年第20周:李航 | 决策树学习的通俗解释

决策树入门案例

是否学习的决策过程解释:
椭圆框内:是决策树的特征(根据特征来分类),比如<女票>;
表情图:是决策树的类别(决策树是用来分类的),比如<学习>;
有向箭头:是决策树特征的属性值,比如<需要>;


一、整体直观的了解:

决策树算法构成:

  1. 决策树的构造
  • ①决策树的特征选择
  • ②决策树的生成
  • ③决策树的剪枝过程
  1. 决策树的决策(遍历)

决策树算法构成的具体解释:
首先,在《是否学习的决策过程》入门案例过程中,重点难点在于怎么构造决策树。这又分为三部份:

第一部分①决策树的特征选择,决策树本身是个分类决策做决定的过程,那么对我们做决策有影响(术语叫:信息增益Or信息增益比)的事物就可能作为特征,所以,女票必须是特征;

第二部分②决策树的生成,当我们完成特征选择后,怎么把这些特征排成一颗树呢?哪个特征应该放在树的顶端Or树的中部Or树的底部呢?按照常识,当然是按照重要性(术语叫:信息增益大小)大小来排布了。而女票是个重要性(术语叫:信息增益)最大,所以排第一没毛病!

第三部分③决策树的剪枝:经过②决策树的生成,我们得到的只是一个片面的局部的决策树模型,他只能实现局部最优化,也就是可能在人生的某一时期实现最优化,但不能确保整个人生的最优化。因此为了实现人生损失的最小化(术语叫:损失函数的最小化Or正则化的极大似然估计),就必须进行第三部分的剪枝过程。

其次,根据决策树构成三部分的不同而组成了不同的决策树算法。

决策树的构成

决策树本身是个分类过程,当然有着不同的分法,这就像不同的人拥有着不同的价值观,也就对同一事物(女票第一还是吃鸡第一)有着不同的评价。在业界内,一般有着这样三种不同的评价(女票第一还是吃鸡第一)算法。
决策树的算法

  1. CART算法--1984年
  2. ID3算法--1986年
  3. C4.5算法--1993年(机器学习十大算法之一)
    算法的不同具体点说就是决策树组成的三大部分不同,也许是特征选择不同、也许是决策树的生成不同、也许是决策的剪枝不同。

最后,当我们通过决策树的算法构造好了一颗决策树后,我们就可以进行决策了。决策树的决策过程简单点说就是决策树的遍历

具体微观的学习:

这部分主要是上面所说的三大算法的数学学习,侧重点在于C4.5算法(机器学习十大算法之一)
首先,了解一下决策树的CART算法、ID3算法、C4.5算法的同与不同。我们知道,决策树的算法由三大部分构成,那么算法的不同当然是三大部分的不同。

所谓的不同?到底是什么不同呢?穷举

决策树算法的不同

其次,来看看三类算法的具体理论、案例、总结
CART算法:CART算法的具体理论、案例、总结
ID3算法:ID3算法的具体理论、案例、总结
C4.5算法:C4.5算法的具体理论、案例、总结

目前在自学机器学习相关的内容,由于作者水平有限,文中难免有错误和不当之处,欢迎专家和读者给予批评指正。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352

推荐阅读更多精彩内容