1.分类VS回归
分类模型VS回归模型，最根本的不同：前者是预测一个标签（类型、类别）；后者则是预测一个量。
换一个角度来看，分类模型输出的预测值是离散值；而回归模型输出的预测值则是连续值。也就是说输入一个样本给模型，回归模型给出的预测结果是在某个值域（一般是实数域或其子集）上的任意值；而分类模型则是给出特定的某几个离散值之一。
2.贝叶斯定理
贝叶斯公式如下：
用语言解释就是：在 B 出现的前提下 A 出现的概率，等于 A 和 B 都出现的概率除以 B 出现的概率。
一般化的贝叶斯公式
更一般化的情况，假设事件 本身又包含多种可能性，即
是一个集合：
，那么对于集合中任意的
，贝叶斯定理可用下式表示：
连续概率的贝叶斯定理的形式为（下面所说的A和B对应之前贝叶斯公式中的A与B）：
其中，是给定
时，
的后验分布；
则是A的先验分布概率函数。
为了方便起见，这里的 f 在这些专有名词中代表不同的函数。
3.朴素贝叶斯分类器（Naïve Bayes Classifier）
“朴素贝叶斯”（Naïve Bayes）既可以是一种算法——朴素贝叶斯算法，也可以是一种模型——朴素贝叶斯分类模型（分类器）。
朴素贝叶斯算法
首先讲作为算法的 Naïve Bayes，朴素贝叶斯算法可以直接利用贝叶斯定理来实现。先来看简洁版的贝叶斯定理：
在之前的几个例子中，为了便于理解，当 B 作为 A 的条件出现时，我们假定它总共只有一个特征。但在实际应用中，很少有一件事只受一个特征影响的情况，往往影响一件事的因素有多个。假设，影响的因素有
个，分别是
。
则可以写为：
的先验概率
和多个因素的联合概率
都是可以单独计算的，与
和
之间的关系无关，因此这两项都可以被看作常数。
对于求解在，最关键的是
。根据链式法则可得：
上面的求解过程，看起来好复杂，但是，如果从到
这些特征之间，在概率分布上是条件独立的，也就是说每个特征
与其他特征都不相关。
那么，当时，有
——无关条件被排除到条件概率之外。因此，当
中每个特征与其他
个特征都不相关时，就有：
注意此处的z对应。
一款极简单的朴素贝叶斯分类器
上式中的到
是特征（Feature），而
则是最终的类别（Class），所以，换一个写法：
这个公式也就是我们的朴素贝叶斯分类器的模型函数！
它用来做预测时是这样的：
- 有一个朴素贝叶斯分类模型（器），它能够区分出
个类
，用来分类的特征有
个：
。
- 现在有个样本s，我们要用NB分类器对它做预测，则需要先提取出这个样本的所有特征值
和
，将其带入到下式中进行
- 然后比较这
——这个
对应的类别就是预测值。
假设我们当前有一个模型，总共只有两个类别：和
；有三个Feature：
。
和
；
、
、
；
、
。
那么对于这个模型，我们要做的就是通过训练过程，获得下面这些值：
把这些概率值都算出来以后，就可以用来做预测了。
比如我们有一个需要预测的样本 X，它的特征值分别是
样本被分为
样本
两者都算出来以后，只需要对比和
谁更大，那么这个样本的预测值就是对应类别。
