朴素贝叶斯分类器作为基础的分类算法，被广泛应用在机器学习界的各行各业中。在利用朴素贝叶斯（Naive Bayes）解决问题之前，首先需要了解贝叶斯定理（Bayes Theorem），因为朴素贝叶斯是以贝叶斯定理为基础的概率分类模型。
贝叶斯定理是概率论中的一个定理，它跟随机变量的条件概率以及边缘概率分布有关。通常，事件A在事件B发生的条件下发生的概率与事件B在事件A发生的条件下发生的概率是不一样。但是这两者直接有存在着确定的关系，贝叶斯定理就是对这种关系的表示，贝叶斯定理的公式如下：
Bayes Theorem.jpg
根据上述公式我们可以知道，贝叶斯定理定义：事件B在事件A发生的条件下发生的概率（P(B|A)）等于时间A在事件B发生的条件下发生的概率（P(A|B)）乘以事件B发生的概率（P(B)）除以事件A发生的概率（P(A)）。在理解贝叶斯定理的基础上，可以较好的理解基于朴素贝叶斯的分类模型。假设现在有个特征空间大小为n的样本集合，每个样本的特征W={w1,w2,...,wn}，wi表示特征空间中的第i个特征。而这些样对于的分类集合也可以视为一个分类标记的几个C={c1, c2, ... , cm}。在进行特征学习之前，特征wi与分类标记cj的关系是不确定的，因此需要提前计算P(C|W)，即特征wi出现的情况下，类别属于标记C的概率为:
P(C|W) = P(W|C)P(C)/P(W)
因此可以从分类的角度理解朴素贝叶斯公式，即：特征wi出现的情况下样本属于类别cj的概率取决于在类别cj出现的情况下特征wi出现的概率以及特征wi在所有特征中出现的概率。基于朴素的思想，认为样本中的所有特征之间是相互独立的，因此最终朴素贝叶斯公式推到如下：
P(C|w1, w2, ..., wn)
= P(w1, w2, ..., wn|C)P(C) / P(w1, w2, ..., wn)
= P(w1|C)P(w2|C) ... P(wn|C)P(C)/(P(w1)P(w2)...P(wn))
朴素贝叶斯分类器作为一种基于概率模型的分类算法，不仅简单易于理解，且实现起来比较简单，还可以达到比较好的效果。
