(13)监督学习-分类问题-贝叶斯定理 和 朴素贝叶斯

      通常,事件A在事件B的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。:P(A|B) = \frac{P(B|A)*P(A)}{P(B)} .

    朴素贝叶斯方法时基于贝叶斯定理特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入与输出的联合概率分布;然后基于此模型,对于给定输入x,利用贝叶斯定理求出后验概率最大的输出y。损失函数为对数似然损失。显然,朴素贝叶斯分类器的学习过程就是根据训练集D来估计类先验概率P(c),并为每个属性估计条件概率P(x_{i|c} )

    其参数估计方法为最大似然估计(最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了,其发生概率最大才符合逻辑。)

    朴素贝叶斯为什么朴素:朴素贝叶斯默认各个属性是同等重要的,最简单、最朴素的假设,所以是朴素贝叶斯。

    通常,事件A在事件B的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。P(A|B)=P(B|A)*P(A)/P(B)

    主要应用:

        应用:

        垃圾邮件过滤

        输入法推荐(在一个简单输入过程中应用了很多机器学习算法,如输入wo shi zhongguoren,通过隐马尔可夫模型得出结论我是中国人,然后根据朴素贝叶斯模型推荐之后内容为我爱五星红旗)

    朴素贝叶斯模型由于其较强的特征条件独立性假设,使得模型参数极大的减少。同时也由于该假设,使得他在一些特征关联性比较强的模型中表现不佳。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容