一. 贝叶斯算法介绍

1.1 贝叶斯简介

image.png

贝叶斯(约1701-1761) Thomas Bayes，英国数学家

贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章

生不逢时，死后它的作品才被世人认可

1.2 贝叶斯要解决的问题

正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大

逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测

1.3 Why贝叶斯

现实世界本身就是不确定的，人类的观察能力是有局限性的

我们日常所观察到的只是事物表面上的结果，因此我们需要
提供一个猜测

1.4 一个例子

image.png

男生总是穿长裤，女生则一半穿长裤一半穿裙子

正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大

逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？

需求:
假设学校里面人的总数是U 个

1. 穿长裤的（男生）：U * P(Boy) * P(Pants|Boy)
   1.1) P(Boy) 是男生的概率= 60%
   1.2) P(Pants|Boy) 是条件概率，即在Boy 这个条件下穿长裤的概率是多大，这里是100% ，因为所有男生都穿长裤

2. 穿长裤的（女生）：U * P(Girl) * P(Pants|Girl)
   2.1) P(Girl) 是女生的概率= 40%
   2.2) P(Pants|Girl) 是条件概率，即在Girl 这个条件下穿长裤的概率是多大，这里是50% ，因为一半的女生穿长裤

求解:
穿长裤的人里面女生的概率

1. 穿长裤总数
   U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)

2. 穿长裤女生
   P(Girl|Pants) = U * P(Girl) * P(Pants|Girl)/穿长裤总数
   U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)]

3. 与总人数有关吗？
   U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)
   容易发现这里校园内人的总数是无关的，可以消去
   P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]

4. 化简
   P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]
   分母其实就是P(Pants)
   分子其实就是P(Pants, Girl)

5. 计算概率
   P(Boy) = 0.6
   P(Pants|Boy) = 1
   P(Girl) = 0.4
   P(Pants|Girl) = 0.5
   P(Pants) = 0.6*1 + 0.4*0.5 = 0.8
   P(Girl|Pants) = 0.4*0.5/0.8 = 0.25

1.5 贝叶斯公式

image.png

参考：

1. https://study.163.com/course/introduction.htm?courseId=1003590004#/courseDetail?tab=1