自然语言处理之概率图模型--预备知识

概述

本章将介绍一些概率论、图、信息论、马尔可夫等相关基础知识，这些知识点将会贯穿于概率图多个模型的讲解中，在相应模型篇章的开头，也会再次列出这些基础知识。

概率论

联合概率

两个及以上随机变量
image.png

，可以用联合概率分布
image.png
描述其各个状态的概率，简称为联合概率分布。根据随机变量的不同，联合概率分布的表示形式也不同。对于离散型随机变量，联合概率分布可以以列表的形式表示，也可以以函数的形式表示；对于连续型随机变量，联合概率分布通过非负函数的积分表示。

边缘概率

条件概率

先验概率

后验概率

独立性与条件独立性

图相关

信息论

信息量

信息熵

互信息

联合熵

条件熵

交叉熵

KL散度

马尔可夫相关

随机过程

马尔可夫性

马尔可夫链

马尔可夫随机过程

随机场

马尔可夫随机场

其它

产生式模型与判别式模型

最大似然估计

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 百面机器学习｜第六章概率图模型知识点(一)
    前言 如果你能找到这里，真是我的幸运~这里是蓝白绛的学习笔记，本集合主要针对《百面机器学习——算法工程师带你去面试...
    蓝白绛阅读 1,829评论 0赞 1
  • 【西瓜书】 第14章 概率图模型
    这一部分没有参考资料，自己看书的时间也比较短，对于一些概念也比较模糊，参考了很多人的学习笔记，整理摘抄。。。。。。...
    一杭oneline阅读 1,394评论 0赞 0
  • 概率图模型
    概率图模型是之前一直搁置的内容，然而躲得过初一躲不过十五，看葫芦书时发现其中有整整一章关于概率图，方才意识到概率图...
    单调不减阅读 11,816评论 0赞 6
  • 一起来读西瓜书：第十四章 概率图学习
    机器学习的核心思想就是根据已知的内容去推测未知的内容，然后在已知和未知之间建立起联系，这个联系就是机器学习中的各种...
    闪电随笔阅读 3,970评论 1赞 7
  • 概率图模型
    本章我们开始学习概率图模型，这里先做个简单的开篇。 概率图模型所涉及到的知识点非常广，所以对读者的基础知识要求也相...
    559fb24f07f0阅读 6,027评论 3赞 14