贝叶斯统计2


首先看图了解likelihood,和先验概率,第二部分会对这些参数进行详细解释

1.  贝叶斯更新对违禁药物使用嫌疑的怀疑

第一次尿检:你之前很相信一位运动员,认为他不会使用违禁药品,或者使用违禁药品的概率非常低:P(使用禁药) = 0.001;药检的likelihood是较为公正的,如果使用了,那么0.95会呈阳性P(阳性|使用禁药),但假阳性也比较高,即就算是清白的,也有0.1的概率会被显示成阳性P(阳性|清白);这位运动员第一次尿检没有通过,你对他使用违禁药品的怀疑是多少?

分析:P(B=阳性|使用禁药) = 0.95,P(A=使用禁药) = 0.001,P(B=阳性|A=清白) = 0.1,P(A=清白)=0.999

那么通过贝叶斯公式开始计算:P(A=使用禁药|B=阳性) = \frac{P(B=阳性|A=使用禁药)*P(A=使用禁药)}{P(B=阳性|A=使用禁药)*P(A=使用禁药) + P(B=阳性|A=清白)*P(A=清白)}  = \frac{0.95 * 0.001}{0.95 * 0.001+0.1*0.999}  \approx  0.009,那么现在后验估计P(A=使用禁药|B=阳性)的概率由之前的0.001变成了0.009。

为了验证他没有使用禁药于是乎做了第二次尿检:现在这位运动员是清白的概率P(A=使用禁药)=0.009;然而第二次尿检仍然没通过,相关的likelihood同第一次的likelihood相同;问题:第二次尿检没通过,你对他使用违禁药品的怀疑到了多少?

分析:P(B=阳性|使用禁药) = 0.95,P(A=使用禁药) = 0.009,P(B=阳性|A=清白) = 0.1,P(A=清白)=0.991

那么通过贝叶斯公式开始计算:P(A=使用禁药|B=阳性) = \frac{P(B=阳性|A=使用禁药)*P(A=使用禁药)}{P(B=阳性|A=使用禁药)*P(A=使用禁药) + P(B=阳性|A=清白)*P(A=清白)} \frac{0.95 * 0.009}{0.95 * 0.009+0.1*0.991}  \approx  0.079,那么现在怀疑这个运动员使用禁药的概率:P(A=使用禁药) = 0.079。

你觉得这个概率很低,依旧相信他没有使用禁药,于是乎为了还他清白,他做了第三次尿检:现在你认为他的清白概率P(A=使用禁药|B=阳性) = 0.079,这次尿检仍旧没通过,问现在你对他的怀疑是多少?

分析:P(B=阳性|使用禁药) = 0.95,P(A=使用禁药) = 0.079,P(B=阳性|A=清白) = 0.1,P(A=清白)=0.921

那么通过贝叶斯公式开始计算:P(A=使用禁药|B=阳性) = \frac{0.95 * 0.079}{0.95 * 0.079+0.1*0.921}  \approx  0.45.

这三次事件更新的是对事件的认知,不是事件本身。什么意思呢?意思就是该运动员服用了禁药就服用了,没服用就没服用,这个事件本身没有改变,改变的是你的认知,由最初相信他使用禁药的概率由0.001到0.009到0.079再到0.45。

总结:对于贝叶斯参数更新来说,不断增加的观测事件对参数更新有累计的效果,因为前一次获得的数据后得到了后验分布,可以成为下一次获得新数据后进行贝叶斯参数更新的先验分布。

2.更新后验估计


贝叶斯公式

参数解释:

P(A): 参数的先验分布,先验概率,先验估计,先验认识,先验信仰!P(B|A):在参数的先验概率成立的情况下,出现观测事件的概率;P(B):任意情况下出现观测事件的概率;P(A|B): 后验概率,后验分布。出现观测事件后,参数概率的分布。对于贝叶斯参数更新来说,不断增多的观测事件对参数更新有累计效果,因为前一次获得数据后得到后验分布,可以成为下一次获得新数据后进行贝叶斯参数更新的后验分布。

看图了解先验分布怎么变成后验分布的:

那么假如先验分布和后验分布是同一种分布呢?比如正太分布,N(\mu ,\delta ^2 ),在经过贝叶斯变换后变成了N(\mu +\mu _{0},\delta ^2+\delta _{0}^2 ),规律的加在重要的参数上,那么下一次贝叶斯变换我们就可以直接在这个参数上做相应的操作了。那么这样的分布有没有呢?有的,接下来会讲到两个:二项分布和Beta分布。

3.Conjugate Distribution共轭分布

有了新的证据,在贝叶斯变化下,参数的先验分布和参数后验分布依然是同一个概率分布,那么新证据的分布和参数的分布就是共轭分布。二项分布和Beta分布是共轭分布。

P(A|B) = \frac{P(B|A)*P(A)}{P(B)}  :P(B|A)为likelihood,P(A)为先验分布,P(A|B)为后验分布,如果likelihood为二项分布,先验分布选为Beta分布,那么后验分布也会为Beta分布。共轭分布的意思就是在likelihood的影响下先验分布变成后验分布之后,后验分布和先验分布是同一类分布。

验证:

那么观察一下后验分布与先验分布的结果可知,后验分布的\alpha 是先验分布的\alpha +s,后验分布的\beta 是先验分布的\beta +f。那么likelihood是二项分布的前提,进行下一次的贝叶斯更新就可以不用通过繁琐的公式进行计算,直接对\alpha ,\beta 进行相应的加法操作就可以了,这就是共轭分布的厉害之处。

4.用抛硬币的新证据更新先验估计

通过抛硬币来观察随着事件的增多对人头朝上这个先验概率的影响,进入代码实战。

首先生成1000次抛硬币事件,1代表人头朝上,0代表国徽朝上。

第0次事件时先验概率是怎样的?

事件1时抛硬币结果时人头朝上,所以人头朝上的先验概率非常大

事件到了第10次时,先验概率发生了很大的变化

事件到了250次呢?

随着事件的增多,越来越说明抛硬币的人头朝上的概率越来越趋近于0.5

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,367评论 6 512
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,959评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,750评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,226评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,252评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,975评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,592评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,497评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,027评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,147评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,274评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,953评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,623评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,143评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,260评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,607评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,271评论 2 358

推荐阅读更多精彩内容