贝叶斯方法 课程分享51
这是通识选修课《社会科学与数学》第五讲《法学与数学》的第四节《贝叶斯方法》。
第五讲 法学与数学
第四节 贝叶斯方法
贝叶斯(Thomas Bayes，1702-1763)，英国数学家，1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。
贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。
贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。“归纳地”运用数学概率，“从特殊推论一般、从样本推论全体”的第一人。
贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1、已知类条件概率密度参数表达式和先验概率。
2、利用贝叶斯公式转换成后验概率。
3、根据后验概率大小进行决策分类。
他对统计推理的主要贡献是使用了“逆概率”这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。贝叶斯公式是他在1763年提出来的（更准确的说法是，1763年12月23日由理查德·普莱斯（Richard Price）整理发表的贝叶斯的成果《An Essay towards solving a Problem in the Doctrine of Chances》中，提出了贝叶斯公式）：
假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。
经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及经济学的许多领域中有着广泛应用。
贝叶斯公式
设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有贝叶斯公式：
P(Dj/x)=p(x/Dj)P(Dj)/∑P(x/Di)P(Di)
我们举一个比上一节那个连带责任案例（第三节案例5）更简单些，但性质相同的例子来说明贝叶斯方法的应用。
案例6
假设原告被一辆公共汽车撞伤，已知在原告被撞的路段上，60%的公共汽车由A公共汽车公司所有，40%的公共汽车属于B公司。原告仅以这一统计证据为由向A公司提起诉讼，要求法院裁决，法院应如何裁决？
最简单的做法就是判A、B两家公司各按60%和40%的比例支付赔偿金。
但是，如果有人提供证据：从以往的数据记录可知，A公司的交通事故率为万分之一，而B公司为万分之二。如果以此为据，该怎么判呢？
解决这个问题，需要用到概率论中的条件概率、全概率和逆概率等概念。
条件概率：在事件b已经发生的条件下，计算事件a的概率，则这种概率称为事件a在事件b已发生的条件下的条件概率，记作p（a|b），有如下计算公式：
p（a|b）=p(a交b)/p(b)
乘法定理：两事件的积事件的概率等于其中一事件的概率与另一事件在前一事件出现之下的条件概率的乘积，即p（ab）=p（a）p（b|a）=p（b）p（a|b）
全概率公式：
如果事件组b1，b2，…，bn满足
（1）b1，b2，…，bn互斥，且p（bi）>0
(i=1,2, …，n)
（2）b1+b2+…+bn=u
则对任一事件a皆有
p（a）=p（b1）p（a|b1）+p（b2）p（a|b2）+…+p（bn）p(a|bn),
满足条件（1），（2）的事件组b1，b2，…，bn称为完备事件组，也称某随机试验e的样本空间。
逆概率公式（贝叶斯公式）：
设b1，b2，…，bn为一完备事件组，则对任一事件a（p（a）≠0）有
p（bj|a）=p(bj)p(a|bj)/ p（b1）p（a|b1）+p（b2）p（a|b2）+…+p（bn）p(a|bn),
公式右边可这样记忆：分母为全概公式，是n项之和，分子是分母中的某一项。
对于刚才的案例，设A、B公司出车的概率分别为P(A)=0.6，P(B)=0.4，肇事用X表示，这样根据贝叶斯公式，A、B两公司的肇事概率分别为：
P(A|X)=P(X|A)P(A)/P(X)=3/7
P(B|X)=P(X|B)P(B)/P(X)=4/7
其中，P(X)=P(X|A)P(A)+P(X|B)P(B)
P(X|A)=1/万，P(X|B)=2/万。
结果是B公司承担的赔偿责任比A公司多。
这样的结果明显更加公平。但随之而来的问题是，这些数据如何获得？或者能否采信？有人就评论这种做法是“血统论”，其实这也正是贝叶斯主义的核心所在——主观概率。
有趣的是，前面提到的理查德·波斯纳法官是赞同贝叶斯主义的，但对这种判案结果却持否定态度。原因是，他认为这样做的成本太高了。
但是，贝叶斯理论的现实意义是不言而喻的，它对信息科学、机器学习、人工智能等等现代科学所带来的基础性、原理性的贡献，恐怕是300年前的贝叶斯自己也想不到的。
附录1.贝叶斯算法原理分析
（下面内容来自CSDN博客：
http://blog.csdn.net/brightgems/archive/2008/01/28/2069759.aspx）
Bayes法是一种在已知先验概率与条件概率的情况下的模式分类方法，待分样本的分类结果取决于各类域中样本的全体。
Bayes方法的薄弱环节在于实际情况下，类别总体的概率分布和各类样本的概率分布函数(或密度函数)常常是不知道的。为了获得它们，就要求样本 足够大。另外，Bayes法要求表达文本的主题词相互独立，这样的条件在实际文本中一般很难满足，因此该方法往往在效果上难以达到理论上的最大值。
1.贝叶斯法则
机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。
最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
2.先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有 这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学 习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。
3.贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
p(h|D)=P(D|H)*P(H)/P(D)
P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。
4.极大后验假设
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下：
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步，去掉了P(D)，因为它是不依赖于h的常量。
5.极大似然假设
在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。
h_ml = argmax p(D|h) h属于集合H P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。
6.举例
一个医疗诊断问题。有两个可选的假设：病人有癌症、病人无癌症
可用数据来自化验结果：正+和负-
有先验知识：在所有人口中，患病率是0.008
对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97%
总结如下
P(cancer)=0.008, P(cancer)=0.992
P(+|cancer)=0.98, P(-|cancer)=0.02
P(+|cancer)=0.03, P(-|cancer)=0.97
问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(cancer|+)
因此极大后验假设计算如下:
P(+|cancer)P(cancer)=0.008*0.98=0.0078
P(+|cancer)P(cancer)=0.992*0.03=0.0298
hMAP=cancer
确切的后验概率可将上面的结果归一化以使它们的和为1
P(canner|+)=0.0078/(0.0078+0.0298)=0.21
cancer|-)=0.79ØP(
贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完全接受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的可能性。
注意：当训练数据的值是缺失时，即先验概率为0%，预测值不稳定。一般会给每个数据加1，使概率不会为0%。
附录2.贝叶斯学派
1.贝叶斯学派的基本观点
贝叶斯学派奠基性的工作是贝叶斯的论文，也许是他自己感到他的学说还有不完善的地方，这一论文在他生前没有发表，而是在他死后由他的朋友发表的。著名的数学家拉普拉斯用贝叶斯提出的方法，导出了重要的“相继律”，贝叶斯的方法和理论逐渐被人理解和重视起来。
尽管贝叶斯方法可以推导出一些有意义的问题，但在理论上和实际应用中还是出现了各种各样的问题，因而在19世纪并未被大家普遍接受。20世纪初，意大利的菲纳特，英国的杰弗莱都对贝叶斯学派的理论作出了新的贡献。
第二次世界大战后，瓦尔德提出了统计的决策理论，在这一理论中贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派作出了新的贡献：更重要的是在一些实际应用的领域中，贝叶斯方法取得了成功，贝叶斯学派成了一股不容忽视的力量。
贝叶斯学派的基本观点是：任一个未知量都可以看作一个随机变量，应用一个概率分布去描述对的未知状况。这个概率分布是在抽样前就有的关于的先验信息的概率陈述。
这个概率分布被称为先验分布。有时还简称为先验。因为任一未知量都有不确定性，而在表述不确定性程度时，概率和概率分布是最好的语言。贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先验分市。
参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导致不合理的结论。
2.贝叶斯统计学派与频率统计学派之间的批评
概率的“信仰”。在数理统计学的发展过程中，曾经有二个主要学派：频率学派与贝叶斯学派。经常对于一个问题而言，从频率学派和贝叶斯学派的角度看起来是完全不一样的，其最主要的区别就是对于一个问题中模型参数的“信仰”：
频率学派相信概率是一个确定的值，讨论概率的分布没有意义。虽然没有上帝视角，还不知道具体的概率值，但相信概率就是确定的，它就在那里。而数据是由这个确定的概率产生的，因此数据是随机的。
而贝叶斯学派认为待估计值的概率是随机的变量，而用来估计的数据反过来是确定的常数，讨论观测数据的概率分布才是没有意义的。
贝叶斯学派对经典学派的批评主要是下面两点：频率学派对一些统计问题的提法不妥，包括估计问题中的置信区间和假设检验问题频率统计学派判断方法好坏的标准不妥。贝叶斯学派赞成主观概率但不等于说主张用主观随意的方式去选取先验分布。
附录3.贝叶斯身世之谜
《统计研究》2013年12期刊登了刘乐平、高磊、卢志义的文章
《贝叶斯身世之谜——写在贝叶斯定理发表250周年之际》
【摘要】：2013年12月23日,是理查德·普莱斯(Richard Price)在伦敦皇家学会会议上宣读托马斯·贝叶斯(Thomas Bayes)著名论文的250周年纪念日。世界各地举行多种活动纪念这个对统计学具有重要意义的日子。本文针对贝叶斯的诞辰日问题,基于网络资料的先验信息,结合贝叶斯历史研究学术文献中的证据,对贝叶斯的出生日进行贝叶斯统计推断,然后对如今广为流传的贝叶斯画像进行讨论,以此纪念贝叶斯定理发现250周年。
【作者单位】：天津财经大学统计系；天津商业大学。
