联合概率：包含多个条件，且所有条件同时成立的概率

记作：P(A,B) 

条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率

记作：P(A|B)

贝叶斯定理：

贝叶斯公式的理解：

百度百科吸毒者检测例子：

贝叶斯定理在检测吸毒者时很有用。假设一个常规的检测结果的敏感度与可靠度均为99%，也就是说，当被检者吸毒时，每次检测呈阳性（+）的概率为99%。而被检者不吸毒时，每次检测呈阴性（-）的概率为99%。从检测结果的概率来看，检测结果是比较准确的，但是贝叶斯定理却可以揭示一个潜在的问题。假设某公司将对其全体雇员进行一次鸦片吸食情况的检测，已知0.5%的雇员吸毒。我们想知道，每位医学检测呈阳性的雇员吸毒的概率有多高？令“D”为雇员吸毒事件，“N”为雇员不吸毒事件，“+”为检测呈阳性事件。

对于上述例子，

P(D)：雇员吸毒的概率，0.5%

P(N)：雇员不吸毒概率，1-P(D)=99.5%

P(+|D):吸毒的雇员检测为阳性(确认吸毒)的概率，99%

P(+|N):不吸毒的雇员检测为阳性(误认为吸毒)的概率，1%

P(+):雇员检测出阳性的概率，不考虑其他因素。P(+)为吸毒的雇员检测为阳性(确认吸毒)的概率(0.5% x 99% = 0.00495)+ 不吸毒的雇员检测为阳性(误认为吸毒)的概率(99.5% x 1% = 0.00995) = 0.0149，数学公式如下：

P(D|+):被检测为阳性的雇员确实吸毒的概率

在计算这个概率前，我们知道雇员吸毒且被检测为阳性的概率为：P(+,D)=P(D)P(+|D)=0.495%

同时：雇员吸毒且被检测为阳性的概率=雇员检测出阳性的概率×被检测为阳性的雇员确实吸毒的概率，即：

P(+,D)=P(+)P(D|+)=0.495% →P(D|+)=0.495/0.0149=33.22%

可以发现尽管检测可靠性达到了99%，但这样的检测结果让人堪忧，其中有的人都被错误的判断为吸毒了。

这时如果我们让被检测为阳性的雇员再次检测，此次检测我们将使用第一次检测为阳性的雇员，那么之前的P(D)要改为刚计算出的33.22%，

P(+,D)=P(D)P(+|D)=0.328878

P(D|+) = P(+,D)/P(+) = 98.01%

此时可靠性高多了，如果让此人再次复检，再重复使用贝叶斯定理计算，会得到此人吸毒的概率为99.98%（99.9794951%）已经超过了检测的可靠度。

在这个例子的情况下，计算条件概率（雇员在检测为阳性事件发生的前提下雇员吸毒事件的概率）的公式为：

即贝叶斯公式。

朴素贝叶斯

上面我们介绍了贝叶斯公式，接下来我们讨论何为朴素贝叶斯。

现在我们来关注另一个流传于网络的案例（判断女神对你的喜欢情况）：

上表为7个男性的职业、体型、是否被女神喜欢的样本。

根据上表中的信息，小明体型超重的产品经理，他现在比较关注自己是否被女神喜欢。即P(喜欢|产品，超重)=?

∵贝叶斯公式

∴

对于上述7个样本中，我们发现由于样本数量太小，并不存在即使产品又超重的样本，即P(产品，超重)=0、P(产品，超重|喜欢)=0，这导致了无法计算结果。但是在现实生活中这样的人肯定存在，这两个概率都不可能为0。

这时侯小明又想知道被女神喜欢的概率，又不想去收集更多的样本。通常这种又要马儿跑又要马儿不吃草的做法是不对的，但是朴素贝叶斯可以帮助小明解决这个问题。

朴素贝叶斯，简单理解，就是假定了特征与特征之间相互独立的贝叶斯公式。

也就是说，朴素贝叶斯，之所以朴素，就在于假定了特征与特征相互独立。

因此按照朴素贝叶斯的方式，我们认为体型与职业这两个特征之间相互独立

P(产品, 超重) = P(产品) * P(超重) =2/7*3/7=6/49

P(产品, 超重|喜欢) = P(产品|喜欢) * P(超重|喜欢) =1/2*1/4=1/8

P(喜欢|产品, 超重) = P(产品, 超重|喜欢)P(喜欢)/P(产品, 超重) =7/12

基于7个样本的信息，我们就可以告诉小明，你被女神喜欢的概率为58.33%。

朴素贝叶斯 的新闻分类

读入sklearn的20newsgroups数据,这里已经下载好了，使用data_home指定数据路径：

train_data = fetch_20newsgroups(subset='train',data_home='jupyter_data')

test_data = fetch_20newsgroups(subset='test',data_home='jupyter_data')

特征处理，将文本转为TF-IDF向量，文档中的每个单词出现的次数在文档的总字数的比例：

vectorizer = TfidfVectorizer()

vectors_train = vectorizer.fit_transform( train_data.data) vectors_test=vectorizer.transform( test_data.data)

训练模型，平滑参数设置0.1：

model=MultinomialNB(alpha=0.1)                                                                      model.fit( vectors_train,newsgroups_train.target)

预测和评估：

pred= model.predict(vectors_test) print(f1_score(newsgroups_test.target,pred,average='macro')) print(accuracy_score(newsgroups_test.target,pred))

结果：

0.81388938732554                                 0.8263409453000531