朴素贝叶斯分类方法是典型的生成学习方法，该方法利用先验概率（类概率）与条件概率（类条件概率）来推测后验概率（即某件事情发生了并且它属于某个类别的概率）。后验概率越大，说明这个事情发生的可能性越大，我们就越有理由把它归属到这个类别中。“朴素”是指该方法对条件概率分布做了条件独立性的假设，即用于分类的特征在类确定的条件下都是条件独立的。
后验概率最大化等价于0-1损失函数时的期望风险最小化。
现实应用中，采用朴素贝叶斯分类方法进行分类时，需要知道先验概率与条件概率。先验概率（类概率）一般由训练样本中各个类别样本出现的频率估计而来。而条件概率则一般通过最大似然法（ML，一种确定模型的参数估计算法，根据现有的样本来反推最有可能导致这样结果的参数，因此选对模型也十分重要）或者贝叶斯估计法（在随机变量各个取值的频数上加一个正数，通常为1，这时称为拉普拉斯平滑）确定。
求最大似然函数估计值的一般步骤：
(1) 写出似然函数
(2) 对似然函数取对数，并整理
(3) 求导数
(4) 解似然方程
推荐极大似然估计总结。
