烧脑的贝叶斯

机器学习基础

概率派和朴素贝叶斯派

概率

推动概率论

概率相比大家都学习过,但是大家可能还不知道概率背后是可重复性。我们还是拿最简单最经典的示例,也就是投硬币大家都知道只要我们做足够多一次然后进行统计就会发现出现正面和背面概率分别都是 50%
我好那么什么是可重复性,合适因为如果我们进行多轮投币测试,每轮测试 1000 次,发现每一轮下来正面和反面出现次数比例1比1,这就是概率的可重复性。如果没有可重复性概率也就是没有意义。
所以我们发现一些事物背后是一定稳定性的东西(也就是模式),这是我们机器学习基础。

下面介绍一些概率出现术语和一些基本计算公式来帮助我们更好理解要机器学习。我们补充一些基础知识都是为了机器学习

术语

  • 实验: 我们要研究内容,例如投硬币
  • 事件: 试验的结果就是事件,也就是投硬币后正面就是事件,用于 A B 大写字母表示。事件是可以组合
  • 概率空间:就是所有事件集合表示

概率运算

  1. A \bigcup B : P(A+B)
  2. A \bigcap B : P(A,B) 这里两个事件是独立 P(A,B) = P(A)P(B)
  3. \overline{A}:P(\overline{A}) = 1 - P(A)
  4. P(A|B): P(A|B) = P(A,B)/P(B)
  5. P(A) = P(A|B)P(B) + P(A| \overline B)P(\overline B)

推导贝叶斯公式

P(A,B) = P(B,A) \Rightarrow P(A|B)P(B) = P(B|A)P(A)
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
P(A|B) = \frac{P(B|A)P(A)}{P(A)P(B|A) + P(\overline A)P(B|\overline A)}

  • P(A) 先验概率
  • P(A|B) 后验概率
  • B 证据
  • A 事件

P(A) 什么都不知道我们对 A 事件发生概率估计,随后得到 B 证据,这样有了证据就增加对 A 发生推断后验概率 P(A|B)

贝叶斯公式的内容(根据数据(证据)更新对事件可能性的估计)这就就是大数据被后支撑理论。

练习

monty_hall_problem

三门问题(Monty Hall problem)亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论,大致出自美国的电视游戏节目Let’s Make a Deal。
问题名字来自该节目的主持人蒙提·霍尔(Monty Hall)。参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门可赢得该汽车。当参赛者选定了一扇门,但未去开启它的时候,节目主持人开启剩下两扇门的其中一扇,里面当然没有汽车。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是:换另一扇门会否增加参赛者赢得汽车的机会?

错误答案

根据常识我们会认为概率是 1/2

答案

那么答案是会。不换门的话,赢得汽车的几率是1/3。换门的话,赢得汽车的几率是2/3。

推导

我们看一看本质就是主持开门这个事件是不是影响到之前我们认为 1/2 概率的事件。也就是我们之前提到证据。


monty_hall_problem_solution

我们用 A_1,A_2,A_3 三个事件分别表示 1 号 2 号和 3 号门有车事件概率,那么我们每一个事件概率都是 A_n = \frac{1}{3}

  • 参加者选择 1 号门
  • 开门前的先验概率A_1 = 1/3
  • 然后主持人开 3 号门,主持人开门事件就是证据, 用事件 B 来表示
    • 如果 1 号门有车主持打开 3 号门概率是 1/2
    • 如果 2 号门有车主持人打开 3 号门概率 1
    • 如果 3 号门有车主持人打开 3 号门概率为 0
      P(A_1|B) = P\frac{P(B|A_1)P(A_1)}{P(B)} \Rightarrow \frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + P(B|A_3)P(A_3)}

\frac{(\frac{1}{2} * \frac{1}{3})}{ 1 * \frac{1}{3} + \frac{1}{2} * \frac{1}{3} + 0 * \frac{1}{3} } = \frac{2}{3}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容

  • 统计学研究方向 什么是统计是关于数据的学科,我们想要增加对大自然了解。搜集数据然后对自然进行推断。我们日常计算均值...
    zidea阅读 324评论 0 4
  • 贝叶斯定理 贝叶斯定理是以条件概率为基础的,所以我们要首先复习下条件概率。所谓"条件概率"(Conditional...
    帝都De雾霾阅读 1,329评论 0 1
  • 专业考题类型管理运行工作负责人一般作业考题内容选项A选项B选项C选项D选项E选项F正确答案 变电单选GYSZ本规程...
    小白兔去钓鱼阅读 8,981评论 0 13
  • 可能公式太长,在手机上浏览这个网页很多公式都显示不出来,在浏览器上就很正常了!* 首先在学习贝叶斯概率前我们先弄清...
    王阿根阅读 843评论 3 4
  • 你正参加一个节目,一共有三扇门,只有一扇门后面有汽车,其余两扇门是空,选到汽车算赢。你选了一扇,然后主持人会在剩下...
    哈啊啊啊啊啊啊阅读 26,337评论 20 5