机器学习05-继续线性分类（软分类）---朴素贝叶斯模型

这一篇开始讲生成式的第一个模型，朴素贝叶斯模型。

我们首先来理解一下概率分类，现在假设有两个类别， Y1，Y2,  某样本X， 要么属于Y1， 要么属于Y2

即p(Y_1|x) + p(Y_2|x) = 1

当p(Y_1|x) > p(Y_2|x) 时， 属于Y1类，反之是Y2类

然后由贝叶斯公式，可得p(Y_1|x) = \frac{p(x,Y_1)}{p(x)} = \frac{p(x|Y_1)p(Y_1)}{p(x)} ,p(Y_2|x) = \frac{p(x,Y_2)}{p(x)} = \frac{p(x|Y_2)p(Y_2)}{p(x)}

分子是一样的，只要比较分母就可以了。从这里也可以看出来，生成式的分类模型，考虑的是联合概率。

这边p(Y_1)，p(Y_2)是Y的先验概率，

p(x|Y_1)，p(x|Y_2)是X在Y的条件概率

p(Y_1|x)，p(Y_2|x) 是X在W上的后验概率

假设我们不知道先验概率， 则假设先验概率是一样的，在此情况下， 分类准则就变成了 p(x|Y_1)和p(x|Y_2)


我们来看第一个模型，朴素贝叶斯模型

样本 x = [x_1,x_2,x_3,...,x_m]^T, 每个维度都是离散的， Y一共有两个类别

经过上面的分析，我们明确了现在要求的目标,就是联合概率，即p(x|Y) = p(x_1,x_2,x_3,....,x_m|Y) 和 p(Y)

p(x|Y) = p(x_1,x_2,x_3,....,x_m|Y) = \prod_{i=1}^m p(x_i|x_1,x_2,...x_{i-1},Y)

这个条件概率不好求，计算量比较大，为了简化条件概率的计算，这里就要引入朴素贝叶斯模型里面很重要的假设了，特征独立不相关。（有向概率图里面，也会有特征之间的假设，朴素贝叶斯模型中的条件独立性假设是最简单的）

因此p(x|Y)可以简化为 p(x|Y) = \prod_{i=1}^m p(x_i|Y), 

我们只要统计样本中的条件概率和先验概率即可了。p(x_i|Y_j) = \frac{count(x_i,Y_j)}{count(Y_j)} ，p(Y_j) = \frac{count(Y_j)}{N} ， N是样本个数

实际操作的时候，会因为样本数据量等原因，导致count(x_i,Y_j) = 0, 因此引入一个拉普拉斯平滑，避免概率为0， 

p(x_i|Y_j) = \frac{count(x_i,Y_j)+1}{count(Y_j)+v} ， v是x_i可能取值的个数。

以上就是朴素贝叶斯模型了。核心就是要理解什么是生成式模型， 以及朴素贝叶斯里面引入特征独立不相关的原因。

转载请注明，谢谢

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

友情链接更多精彩内容