贝叶斯简介
贝叶斯原来是英国的一个著名数学家，贝叶斯方法源于他生前为解决一个“逆向概率”的问题写的一篇文章。
贝叶斯算法概述
贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。
贝叶斯要解决的问题
先给大家介绍两个东西：
正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大
逆向概率：如果我们事先不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个(或好几个)球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测
再来说说我们为什么要使用贝叶斯算法？
1，现实世界本身就是不确定的，人类的观察能力是有局限性的
2，我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测（就好比和女孩子聊天，你自己以为和她聊得很开心，很快乐，但是你并不知道她是否真的喜欢你，这时候你就需要进行一个猜测，这个女孩是不是真的喜欢我）
举个例子
男生总是穿长裤，女生则一半穿长裤一半穿裙子
正向概率：随机选取一个学生，他(她)穿长裤的概率和穿裙子的概率是多大
逆向概率：迎面走来一个穿长裤的学生，你只看得见他(她)穿的是否长裤，而无法确定他(她)的性别，你能够推断出他(她)是女生的概率是多大吗？
现在我们假设学校里面人的总数是U个
穿长裤的（男生）：U * P(BOY) * P(PANTS|BOY)
P(BOY)是男生的概率=60%
P(PANTS|BOY)是条件概率，即在BOY这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤
穿长裤的（女生）：U * P(GIRL) * P(PANTS|GIRL)
求解：穿长裤的人里面有多少女生
PS：P(PANTS|GIRL)为女生穿长裤的概率已经为1/2，P(PANTS|BOY)为男生穿长裤的概率为100%
穿长裤总数：U * P(BOY) * P(PANTS|BOY) + U * P(GIRL) * P(PANTS|GIRL)
P(GIRL|PANTS) = U * P(GIRL) * P(PANTS|GIRL) / 穿长裤总数
等于U * P(GIRL) * P(PANTS|GIRL) / [U * P(BOY) * P(PANTS|BOY) + U * P(GIRL) * P(PANTS|GIRL)]
与总人数有关吗？
U * P(GIRL) * P(PANTS|GIRL) / [U * P(BOY) * P(PANTS|BOY) + U * P(GIRL) * P(PANTS|GIRL)]
容易发现这里校园内人的总数是无关的，可以消去
P(GIRL|PANTS)=P(GIRL) * P(PANTS|GIRL) / [P(BOY) * P(PANTS|BOY) + P(GIRL) * P(PANTS|GIRL)]
贝叶斯公式
P(A|B) = P(B|A)*P(A) / P(B)
其中P(A|B)是在 B 发生的情况下 A 发生的可能性
在贝叶斯定理中，每个名词都有约定俗成的名称：
P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。
P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。
P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。
P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。
拼写纠正实例
问题是我们看到用户输入了一个不在字典中的单词，我们需要去猜测：“这个家伙到底真正想输入的单词是什么呢？”
P(我们猜测他想输入的单词 | 他实际输入的单词)
举例：用户实际输入的单词为D（D代表DATA，即观测数据）
猜测1：P(H1 | D), 猜测2：P(H2 | D), P(H3 | D)······ 统一为：P(H | D)
P(H | D) = P(H) * P(D | H) / P(D)
注意：
1，对于不同的具体猜测H1,H2,H3···，P(D)都是一样的，所以在P(H1 | D)和P(H2 | D)的时候我们可以忽略这个常数
2，对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独立的可能性大小（先验概率，prior）”和“这个猜测生成我们观测到的数据的可能性大小”
由贝叶斯公式计算：P(H) * P(D | H),P(H)是特定猜测的先验概率
比如用户输入tlp，那么到底是top还是tip？这个时候，当最大似然不能作出决定性的判断时，先验概率就可以插手进来给出指示--“既然你无法决定，那么我告诉你，一般来说top出现的程度要高许多，所以更可能他想打的是top”
模型比较理论
最大似然：最符合观测数据的（既P(D | H)最大的）最有优势
奥卡姆剃刀：P(H)较大的模型有较大的优势
掷一枚硬币，观察到的是“正”，根据最大似然估计的精神，我们应该猜测这枚硬币掷出“正”的概率是1，因为这个才是能最大化P(D | H)的那个猜测
再举个例子解释奥卡姆剃刀
如果平面上有N个点，近似构成一条直线，但绝不精确地位于一条直线上。这时我们既可以用直线来拟合（模型1），也可以用二阶多项式（模型2）拟合，也可以用三阶多项式（模型3），特别地，用N-1阶多项式便能够保证肯定能完美通过N个数据点。那么，这些可能的模型之中到底哪个是最靠谱的呢？
奥卡姆剃刀：越是高阶的多项式越是不常见 （一般用1阶或者2阶等低阶多项式）
垃圾邮件过滤实例
问题：给定一封邮件，判定它是否属于垃圾邮件
D来表示这封邮件，注意D由N个单词组成。我们用H+来表示垃圾邮件，H-表示正常邮件
P(H+ | D)=P(H+) * P(D | H+) / P(D)
P(H- | D)=P(H-) * P(D | H-) / P(D)
先验概率：P(H+)和P(H-)这两个先验概率都是很容易求出来的，只需要计算一个邮件库里面垃圾邮件和正常邮件的比例就行了
D里面含有N个单词D1,D2,D3,P(D | H+)=P(D1,D2,D3,...,Dn | H+)
P(D1,D2,D3,...,Dn | H+)就是说在垃圾邮件当中出现跟我们目前这封邮件一模一样的一封邮件的概率是多大！
P(D1,D2,D3,...,Dn | H+)扩展为：P(D1 | H+) * P(D2 | D1,H+) * P(D3 | D2,D1,H+) * ..
假设Di与Di - 1是完全条件无关的（朴素贝叶斯假设特征之间是独立，互不影响）
简化为P(D1 | H+) * P(D2 | H+) * P(D3 | H+) * ..
对于P(D1 | H+) * P(D2 | H+) * P(D3 | H+) * ..只要统计Di这个单词在垃圾邮件中出现的频率即可
下面就是实战了——贝叶斯拼写检查器
import re,collections
# 把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
def words(text):
return re.findall('[a-z]+', text.lower())
# 统计每个单词出现几次
def train(features):
model = collections.defaultdict(lambda :1)
for f in features:
model[f] += 1
return model
# NWORDS[w] 存储了单词 w 在语料中出现了多少次
NWORDS = train(words(open('big.txt',encoding='utf8').read()))
alphabet = 'abcdefghijklmnopqrstuvwxyz'
# edits1函数可以返回所有与单词 w 编辑距离为 1 的集合
def edits1(word):
n = len(word)
return set([word[0:i]+word[i+1:] for i in range(n)] +
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
[word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])
def known_edits2(word):
return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
def known(words):
return set(w for w in words if w in NWORDS)
def correct(word):
candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
return max(candidates, key = lambda w:NWORDS[w])
if __name__ == '__main__':
print(correct('woid'))
