原文章为scikit-learn中"用户指南"-->"监督学习的第九节：Naive Bayes"######

这个朴素贝叶斯方法是一组基于贝叶斯理论的监督学习算法，其对每个特征对都定义了一个"简单"假设。对给定的类变量** y 和独立的特征向量 x1 至 xn **，贝叶斯理论的关系如下所示:

使用朴素的独立假设后:

对全体** i **而言，其等式又能简化为:

因为** P(x1, ..., xn) **在给定输入时，它的值就已经固定不变了，所以可以使用下列的分类规则:

然后我们使用最大先验(MAP, Maximum A Posteriori)估计器来估计** P(y) 和 P(xi | y) 的值。前者对后者来说，表示的是在训练集中，类 y **出现的相对频率。

不同的贝叶斯分类器的不同点在于，它们各自对** P(xi | y) **分布有着不同的假设。

尽管上面的假设有点过于简化了，但是朴素贝叶斯分类器却能够很好的作用于现实场景，例如著名的文档分类和垃圾邮件过滤等功能。它们只需要小部分的训练集就能够估计出必要的参数的值.（如果想要知道贝叶斯的原理和它需要的数据类型的话，可以参考下方的引用）

朴素贝叶斯学习器和分类器能够极其快速地适应大多复杂的方法。类条件特征分布的解耦意味着每一个分布能够独立的被估计成一个一维分布。而这一点能够有效的应对由于"维度诅咒"所引起的问题。

在另一方面，尽管朴素贝叶斯作为一个出色的分类器很出名，但是它作为一个很糟糕的估计器也是很出名，所以在实际应用上，不要太过于注重函数** predict_proba **的输出值。

引用

H. Zhang (2004).The optimality of Naive Bayes.Proc. FLAIRS.

1.9.1. 高斯朴素贝叶斯#

GaussianNB 实现了用于分类的高斯朴素贝叶斯，其将特征的似然假定成高斯:

参数** σy 和 μy **的值是使用最大似然来估计出的。

>>> from sklearn import datasets
>>> iris = datasets.load_iris()
>>> from sklearn.naive_bayes import GaussianNB
>>> gnb = GaussianNB()
>>> y_pred = gnb.fit(iris.data, iris.target).predict(iris.data)
>>> print("Number of mislabeled points out of a total %d points : %d"
...       % (iris.data.shape[0],(iris.target != y_pred).sum()))
Number of mislabeled points out of a total 150 points : 6

1.9.2. 多项式朴素贝叶斯#

MultinomialNB 实现了用于处理多项式分布的数据的朴素贝叶斯算法，并且这种算法属于用于文本分类的贝叶斯经典的两种变种算法之一（一般是用词向量技术来表示原始数据，不过用 tf-idf 向量来表示也有比较好的表现）。这个模型的分布会通过向量(** θy = θy1, ..., θyn )来为每一类 y 进行参数化，其中 n 为特征的数量(在文本分类中应为词汇的大小)， θyi 表示特征 i 表现为属于类 y **的概率。

参数** θy **由一个平滑版本的最大似然来估计出的。例如相对频率计数:

其中** Nyi = Σ(χ∈T)·xi **是一个在训练集 ** T 中，特征 i 出现在类 y 的次数，然后 Ny = Σ(i = 1)^(|T|)·(Nyi) 则是在每个 y **类中，所有特征的总出现次数。

然后平滑先验** α >= 0 则会根据考虑到没在训练样本出现的特征来防止在后续计算中出现零概率的可能性。当 α = 1 时这个平滑过程就是拉普拉斯平滑，而 α < 1 **的平滑则叫做Lidstone平滑。

1.9.3. 伯努利朴素贝叶斯#

BernoulliNB 实现了对有多项式伯努利分布的数据的NB训练和分类算法。即存在多个以二进制变量（Bernoulli, boolean）所定义的特征值。也正因为如此，这个类需要特征以二进制向量的方式来表示；如果存在非二进制类型的特征，** BernoulliNB 也会试图将其变成二进制（不过还是取决于 binarize **参数的设置）。

伯努利朴素贝叶斯的决策规则基于下列公式：

这一公式与多项式NB的不同点在于，这公式明确地对特征** i **的不出现进行了惩罚，而多项式的该公式变体则只会简单的忽略没出现的特征。

在文本分类中，可以用词频向量（而不是词数向量）来训练和使用这个分类器。**BernoulliNB **会在一些数据集上有更好的表现，特别是那些短篇文章。不过时间允许的话，还是建议分别对这两种模型来做评估以选择更符合条件的那个。

引用

C.D. Manning, P. Raghavan and H. Schütze (2008). Introduction to Information Retrieval. Cambridge University Press, pp. 234-265.
A. McCallum and K. Nigam (1998). A comparison of event models for Naive Bayes text classification. Proc. AAAI/ICML-98 Workshop on Learning for Text Categorization, pp. 41-48.
V. Metsis, I. Androutsopoulos and G. Paliouras (2006). Spam filtering with Naive Bayes – Which Naive Bayes? 3rd Conf. on Email and Anti-Spam (CEAS).

1.9.4. 超核朴素贝叶斯模型的拟合过程#

朴素贝叶斯模型能够用来解决拥有难以存入内存的数据集的大规模分类问题。为了解决这一问题，MultinomialNB, BernoulliNB, 和 GaussianNB 提供了一个 ** partial_fit **方法，可以跟其他分类器一样增量地使用，例如文档的超核分类所示。

与** fit 函数相反，第一次调用 partial_fit **函数时需要传入所有可预见的类标签列表。

如果要知道更多在scikit-learn中关于可用策略的描述的话，可以参考这篇 out-of-core learning 文档。

注意:
因为朴素贝叶斯模型里的** partial_fit **方法存在一些计算开销，所以在每次操作的时候，在内存(RAM)允许的情况下，尽可能的扩大数据块的大小以减少多次调用所产生的额外开销。

（在尝试翻译这篇文档的时候难免会因为各种问题而出现错翻，如果发现的话，烦请指出，谢谢> <）

sklearn文档 — 1.9. 朴素贝叶斯