背景
频率派把需要推断的参数θ看作是固定的未知常数，即概率θ虽然是未知的，但是最起码是一个确定的值，同时，样本X是随机的，所以频率派重点研究样本，大部分的概率计算都是针对样本X的分布；
贝叶斯派的观点截然相反，他们认为参数θ是随机变量，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数θ的分布。
贝叶斯派既然把θ看做是一个随机变量，所以如果要计算θ的分布，需要事先知道θ的无条件分布，即在有样本之前（或观察到X之前），θ又怎样的分布。
所以有如下思考问题的固定模式：
π(θ) X => π(θ|x)
先验分布+样本信息 => 后验分布
该思考模式意味着，新观察的样本信息将修正人们以前对事物的认知。
贝叶斯定理：
条件概率（又称后验概率posterior）：就是事件A在事件B已经发生的条件下发生的概率，P(A|B)
例：在同一个样本空间U中的事件或者子集A,B，如果随机从U中选出一个元素B，那个这个随机选择元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = U*P(A∩B) / U*P(B), 同除以U，得到：P(A|B) = P(A∩B) / P(B)
联合概率：两个事件同时发生的概率，P(A|B) 或者P(A∩B)
边缘概率（又称先验概率prior）：某个事件发生的
概率，P(A), P(B)
贝叶斯公式：P(A|B) = P(B|A)*P(A) / P(B)
推导：从条件概率推出：
P(A|B) = P(A∩B) / P(B)
P(B|A) = P(A∩B) / P(A)
联立上式：P(A|B) * P(B) = P(B|A) * P(A)
即 P(A|B) = P(B|A)*P(A) / P(B)
上式P(B)=∑n(i=1) P(Ai) * P(B|Ai)
朴素贝叶斯（Naive Bayes）
“朴素”：贝叶斯假设特征之间是独立的，互不影响。
贝叶斯理论应用：
X是特征向量（大小为n），y是类变量：
P(y|X) = P(X|y) P(y) / P(X), X = (x1,x2,x3,...,xn)
假设A,B是独立的，则 P(A,B) = P(A) * P(B)
现在可以建立分类模型，用已知的类变量的所有可能的值计算概率，并选择概率是最大的结果。数学表达式为：
之后就是计算P(y) 和 条件概率P(xi|y)
不同的朴素贝叶斯分类器差异主要在分布的假设。
高斯朴素贝叶斯分类器：每个特征都是连续的，且呈现高斯分布（正态分布）。
多项式朴素贝叶斯分类器：特征向量表示有多项式分布生成的特定的时间的概率（频率）。多用于文本分类。
伯努利朴素贝叶斯分类器：特征是独立的布尔类型（二进制变量）来描述输出。跟多项式模型类似。在文本分类中流行，在这这里用的是二进制项的出现（一个词是否出现在文本中），而不是词频（一个文本中出现某词的次数）
Multinomial Naive Bayes: Feature vectors represent the frequencies with which certain events have been generated by a multinomial distribution. This is the event model typically used for document classification.
Bernoulli Naive Bayes: In the multivariate Bernoulli event model, features are independent booleans (binary variables) describing inputs. Like the multinomial model, this model is popular for document classification tasks, where binary term occurrence(i.e. a word occurs in a document or not) features are used rather than term frequencies(i.e. frequency of a word in the document).
