ML——贝叶斯分类器

贝叶斯决策论

贝叶斯决策论：概率框架下实施决策的基本方法。对分类任务而言，考虑如何基于概率和误判损失来选择最优的类别标记。

条件风险/期望损失：

贝叶斯判定准则：为最小化总体风险，在每个样本上选择能使条件风险R(c|x)最小的类别标记，即 $h^*(x)=\mathop{\arg\min}_{c\in Y} R(c|x)$

欲使用贝叶斯判定准则最小化决策风险，首先应获得后验概率P(c|x):

判别式模型：直接学习决策分布P(c|x)。eg决策树、SVM等；

生成式模型：能够基于模型重新产生数据。eg贝叶斯等。

因此，估计P(c|x)转化为估计先验P(c)和似然P(x|c)。

极大似然估计（MLE）

频率主义学派：参数未知，但存在固定值，优化似然函数可确定参数值；

贝叶斯学派：参数是未观察到的随机变量，假定其服从一个先验分布，基于观测到的数据计算参数的后验分布。

基于频率主义学派的MLE就是去找未知的参数估计值，使样本发生的概率最大.

朴素贝叶斯分类器

基于贝叶斯公式估计后验概率P(c|x)的主要困难在于，似然P(x|c)是所有属性上的联合概率，难以从有限的训练样本直接估计而得。基于此，朴素贝叶斯（NB）分类器采用“属性条件独立性假设”。此时后验概率可重写为：

对应的贝叶斯判定准则为：

$h_{nb}(x)=\mathop{\arg\max}_{c\in Y}P(c)\prod_{i=1}^d P(x_i|c)$

训练

令 $D_c$ 表示训练集D中第c类样本组合的集合，类先验概率为:

$P(c)=\frac{\vert D_c \vert }{\vert D \vert }$

离散属性：令 $D_{c,x_i}$ 表示 $D_c$ 中在第i个属性上取值为 $x_i$ 的样本组成的集合，则条件概率 $P(x_i|c)$ 为：

$P(x_i|c)=\frac{\vert D_{c,x_i} \vert }{\vert D_c \vert }$

连续属性：考虑概率密度函数，假定 $p(x_i|c) \sim N(\mu _{c,i},\sigma _{c,i}^2 )$ ，其中 $\mu _{c,i}$ 和 $\sigma _{c,i}^2$ 分别是第c类样本在第i个属性上去指导均值和方差，则有：

$P(x_i|c)=\frac{1}{\sqrt{2\pi }\sigma _{c,i} } exp(-\frac{(x_i-\mu _{c,i})^2}{2\sigma _{c,i}^2} )^2$

拉普拉斯修正：避免因训练集样本不充分导致概率估计值为0的问题；训练集变大时，修正过程引入的先验的影响可逐渐忽略，估值渐趋于实际概率值。

贝叶斯垃圾邮件过滤：

给定一封邮件，可用贝叶斯分类器判断其是否为垃圾邮件。用D表示这封邮件，D由N个单词组成，用h+表示垃圾邮件，h-表示正常邮件，则问题可形式化为：

$P(h+|D)=P(h+)*P(D|h+)/P(D)\\P(h-|D)=P(h-)*P(D|h-)/P(D)$

其中先验P(h+)与P(h-)易得，只需计算一个邮件库里面垃圾邮件和正常邮件的比例即可。然而似然P(D|h+)不易得，因为D中含有N个单词d1,d2,...故P(D|h+)=P(d1,d2,...dn|h+)=P(d1|h+)*P(d2|d1,h+)*P(d3|d2,d1,h+)*...。此时基于朴素贝叶斯的条件独立假设，可将式子简化为：P(D|h+)=P(d1|h+)*P(d2|h+)*P(d3|h+)*...，即假设di与dj(i不等于j)是相互独立的。此时只要统计di这个单词在垃圾邮件中出现的频率即可。