要求分类器做出艰难决策，给出该数据实例属于哪一类，这类问题的明确答案。不过分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。从一个最简单的概率分类器开始，然后给出一些假设来学习朴素贝叶斯分类器。我们称之为“朴素”，是因为整个形式化过程只做最原始、最简单的假设。
现在用p1(x,y)表示数据点(x,y)属于类别1的概率，用p2(x,y)表示数据点(x,y)属于类别2的概率，那么，可以用下面的规则来判断它的类别：
如果p1(x,y) > p2(x,y),那么类别为1
如果p2(x,y) > p1(x,y),那么类别为2
也就是说我们会选择高概率对应的类别。这是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。
贝叶斯准则告诉我们如何交换条件概率中的条件和结果，即如果已知p(x|c),要求p(c|x),那么可以使用下面的计算方法:
