这一篇开始讲生成式的第一个模型，朴素贝叶斯模型。
我们首先来理解一下概率分类，现在假设有两个类别， Y1，Y2, 某样本X， 要么属于Y1， 要么属于Y2
即
当时， 属于Y1类，反之是Y2类
然后由贝叶斯公式，可得,
分子是一样的，只要比较分母就可以了。从这里也可以看出来，生成式的分类模型，考虑的是联合概率。
这边，
是Y的先验概率，
，
是X在Y的条件概率
，
是X在W上的后验概率
假设我们不知道先验概率， 则假设先验概率是一样的，在此情况下， 分类准则就变成了 和
我们来看第一个模型，朴素贝叶斯模型
样本 , 每个维度都是离散的， Y一共有两个类别
经过上面的分析，我们明确了现在要求的目标,就是联合概率，即 和
这个条件概率不好求，计算量比较大，为了简化条件概率的计算，这里就要引入朴素贝叶斯模型里面很重要的假设了，特征独立不相关。（有向概率图里面，也会有特征之间的假设，朴素贝叶斯模型中的条件独立性假设是最简单的）
因此可以简化为
,
我们只要统计样本中的条件概率和先验概率即可了。，
， N是样本个数
实际操作的时候，会因为样本数据量等原因，导致, 因此引入一个拉普拉斯平滑，避免概率为0，
， v是
可能取值的个数。
以上就是朴素贝叶斯模型了。核心就是要理解什么是生成式模型， 以及朴素贝叶斯里面引入特征独立不相关的原因。
转载请注明，谢谢
