课程来源
知乎live-贝叶斯概率思维
目录
- 贝叶斯概率
- 贝叶斯定理
- 贝叶斯估计
- 贝叶斯网络
- 推荐书籍
- 涉及名词
前言
规则VS统计
基于规则的理性主义：如专家系统
基于统计的经验主义：如贝叶斯
基于规则需要专业知识体系，容易定义，但通用性不高。
基于统计则需要数据，并且相关性容易造成误导。
规则-演绎（柯南破案）
经验-归纳（神农尝百草）
贝叶斯思维
频率派VS贝叶斯派
频率派
通过长期、大量、重复实验：发生的频率（大数定律）
参数是常数
概率是客观存在的常数
贝叶斯派
信则有，不信则无
参数是随机变量
贝叶斯概率
先验概率：P(A)
后验概率：P(A|B)（已知B的前提下对A的信念）
贝叶斯定理
贝叶斯定理：
已知先验，计算后验
通俗解释
问题：白马上坐着的不一定是王子，还可能是唐僧。那么，如何确定是王子还是唐僧。
P(A): 已知白马上坐着的可能是王子，也可能是唐僧。
P(B|A): 坐着的是王子时，后边大概率跟着的是仪仗队。如果是唐僧，后边跟着的大概率是三个徒弟。这样就可以根据白马后的场景（P(B)）来判断白马上坐的是谁（P(A|B)）
频率派和贝叶斯派的比较
对于一种病来说，如果药物对病症的有效率有95%，但是对非病者有5%的中毒率，那频率派认为这个药是可以使用的。但是如果这个病是罕见病，则贝叶斯定理会得出一个很小的数。因为P(A)太低了。对正常人来说，虽然中毒率低，但是基数过大，因此对最后结果有很大的影响。
贝叶斯估计
最大似然估计
最大似然估计（频率派思维）
参数：
数据:
当你已知一组数据时，要去分析参数是多少，才能使这组数据出现的概率最大。就叫最大似然估计。
这属于频率派思维，但是它没有考虑数据D出现的概率是多少。
最大后验估计
最大后验估计（MAP）（贝叶斯派）（如果知道先验概率）
需要考虑先验概率
像是在最大似然估计上加一个修正项。有一些贝叶斯的思想
贝叶斯估计
最大后验估计还不是纯正的贝叶斯思维，如果按照贝叶斯定理，则
贝叶斯估计公式：
(积分理解成求和，可以连续可以离散)
贝叶斯适合解决数据不平衡的问题
总结
最大似然估计对数据量需求最大，因为没有任何先验知识的修正，但是也会因此导致过拟合。
最大后验估计和贝叶斯估计有先验知识的修正，所以对数据量需求不大。但是坏处是需要好的先验知识。
贝叶斯网络
与神经网络没有关系，和概率图模型更接近。
推荐书籍
《贝叶斯方法：概率编程与贝叶斯推断》
《统计学习方法》
《像计算机科学家一样思考python》
涉及名词
达特茅斯会议
Alpha-go 蒙特卡洛树搜索【基于统计的概率计算】
拉斯维加斯算法
马尔科夫性
隐式马尔可夫链
