通常,事件A在事件B的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。:.
朴素贝叶斯方法时基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入与输出的联合概率分布;然后基于此模型,对于给定输入x,利用贝叶斯定理求出后验概率最大的输出y。损失函数为对数似然损失。显然,朴素贝叶斯分类器的学习过程就是根据训练集D来估计类先验概率P(c),并为每个属性估计条件概率
其参数估计方法为最大似然估计(最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了,其发生概率最大才符合逻辑。)
朴素贝叶斯为什么朴素:朴素贝叶斯默认各个属性是同等重要的,最简单、最朴素的假设,所以是朴素贝叶斯。
通常,事件A在事件B的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。P(A|B)=P(B|A)*P(A)/P(B)
主要应用:
应用:
垃圾邮件过滤
输入法推荐(在一个简单输入过程中应用了很多机器学习算法,如输入wo shi zhongguoren,通过隐马尔可夫模型得出结论我是中国人,然后根据朴素贝叶斯模型推荐之后内容为我爱五星红旗)
朴素贝叶斯模型由于其较强的特征条件独立性假设,使得模型参数极大的减少。同时也由于该假设,使得他在一些特征关联性比较强的模型中表现不佳。