项目地址：https://github.com/Daya-Jin/ML_for_learner/blob/master/naive_bayes/Gaussian Naive Bayes.ipynb
原博客：https://daya-jin.github.io/2018/10/04/NaiveBayes/
模型概述
首先回顾一下贝叶斯公式：
%3D%5Cfrac%7BP(AB)%7D%7BP(B)%7D%3D%5Cfrac%7BP(B%7CA)P(A)%7D%7BP(B)%7D)
以二分类为例，上述公式以机器学习任务的形式来写的话就成为了：
%3D%5Cfrac%7BP(x%7Cy%3D0)P(y%3D0)%7D%7BP(x)%7D%20%5C%5C%20P(y%3D1%7Cx)%3D%5Cfrac%7BP(x%7Cy%3D1)P(y%3D1)%7D%7BP(x)%7D%20%5C%5C)
其中
为待预测样本。对于需要算的几个概率，一个一个来看。
)
，注意到样本是一个同时有多个值的向量，![x= \left[ \begin{matrix} x_{0} & x_{1} & \cdots & x_{n} \end{matrix} \right]](https://math.jianshu.com/math?formula=x%3D%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20x_%7B0%7D%20%26%20x_%7B1%7D%20%26%20%5Ccdots%20%26%20x_%7Bn%7D%20%5Cend%7Bmatrix%7D%20%5Cright%5D)
，在数据集中很可能没有跟待预测样本%7D)
完全相同的样本，那么就没法直接计算。注意到在各特征相互独立的前提下，有：
%3DP(x%5E%7BD%7D_%7B0%7D%3Dx_%7B0%7D%7Cy%3D0)P(x%5E%7BD%7D_%7B1%7D%3Dx_%7B1%7D%7Cy%3D0)...P(x%5E%7BD%7D_%7Bn%7D%3Dx_%7Bn%7D%7Cy%3D0))
)
，这个好办，直接计算样本中负样本出现的频率，相对应地，)
即样本中正样本出现的频率。
)
这个概率同样不好直接计算，根据全概率公式，有：
%3DP(y%3D0)P(x%7Cy%3D0)%2BP(y%3D1)P(x%7Cy%3D1))
在各特征独立的条件下，上式可以写成：
%26%3DP(y%3D0)P(x%5E%7BD%7D_%7B0%7D%3Dx_%7B0%7D%7Cy%3D0)...P(x%5E%7BD%7D_%7Bn%7D%3Dx_%7Bn%7D%7Cy%3D0)%20%5C%5C%20%26%2BP(y%3D1)P(x%5E%7BD%7D_%7B0%7D%3Dx_%7B0%7D%7Cy%3D1)...P(x%5E%7BD%7D_%7Bn%7D%3Dx_%7Bn%7D%7Cy%3D1)%20%5C%5C%20%5Cend%7Baligned%7D)
容易看出，对同一个数据集而言，是不变的，所以只需要关注分子即可。
所以上述问题在多分类的情况下可以用以下公式来表达：
%5Cprod%5Climits_%7Bi%3D0%7D%5E%7Bn%7DP(x_%7Bi%7D%5E%7BD%7D%3Dx_%7Bi%7D%7CY%3Dc_%7Bj%7D))
其中为待预测样本，
为模型输出，
为数据集中的样本的第
个特征，
为数据集标签，
为第
个类别。同时注意到上面做了两次假设：各特征之间相互独立，这是朴素贝叶斯最重要的一个前提条件。
连续属性
对于数据集中的连续属性
，怎么计算)
？可假设该连续特征在某一类别下
服从某一分布，如高斯分布%3D%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%7D%5Csigma_%7Bc_%7Bk%7D%2Ci%7D%7Dexp(-%5Cfrac%7B(x_%7Bi%7D-%5Cmu_%7Bc_%7Bk%7D%2Ci%7D)%5E%7B2%7D%7D%7B2%5Csigma_%7Bc_%7Bk%7D%2Ci%7D%5E%7B2%7D%7D))
。
一点改进
在原始的问题公式中，如果累乘项中的某一项为零，那么就会影响最终结果从而始终得到零概率输出，如有一项
%3D0)
，则不管该样本的其他属性如何，模型对该样本属于各个类别的预测概率均为0，这说明模型没有很好的泛化能力。有两种改进方法：
将累乘取对数转换成累加
-
拉普拉斯修正
原概率计算公式为
%3D%5Cfrac%7B%7CD_%7Bc_%7Bk%7D%7D%7C%7D%7B%7CD%7C%7D)
，
%3D%5Cfrac%7B%7CD_%7Bc_%7Bk%7D%2Cx_%7Bi%7D%7D%7C%7D%7B%7CD_%7Bc_%7Bk%7D%7D%7C%7D)
，经拉普拉斯修正后的概率计算公式为%3D%5Cfrac%7B%7CD_%7Bc_%7Bk%7D%7D%7C%2B1%7D%7B%7CD%7C%2BN%7D)
，%3D%5Cfrac%7B%7CD_%7Bc_%7Bk%7D%2Cx_%7Bi%7D%7D%7C%2B1%7D%7B%7CD_%7Bc_%7Bk%7D%7D%7C%2BN_%7Bi%7D%7D)
，其中
为数据集的类别数，
为第个特征的可能取值数。
实现指导
完整代码
