背景
0.概率图：用图来表达变量之前相关关系的概率模型。其中图中的点表示一组随机变量，边表示随机变量之间的概率相关关系
1.有向图模型/贝叶斯网：有向无环图。当变量之间有明确的因果关系时使用
2.无向图模型/马尔科夫网：无向图。当变量之间有关系，但难以获得明确的因果关系时使用
3.生成式模型：对联合概率进行建模，如隐马尔可夫模型、马尔可夫随机场
4.判别式模型：对条件概率进行建模，如条件随机场
HMM（隐马尔可夫模型）
定义
状态空间：{S1,S2,......,SN}
观测空间：{O1,O2,......OM} // 观测变量可离散可连续，为方便，此处仅讨论离散型
马尔可夫链：系统下一时刻的状态仅由当前时刻状态决定，不依赖以往的任何状态
三组参数
1.状态转移概率
指模型在各个状态间的转移概率
2.输出观测概率
指模型根据当前状态得到各个观测值的概率
3.初始状态概率
指模型在初始时刻各状态的概率
模型
通过指定状态空间、观测空间、上述三组参数，就可以确定一个隐马尔可夫模型。
三个基本问题：
1.如何评估观测序列与已有模型的匹配程度？
2.如何根据观测序列及已有模型，获得概率最大的状态序列？
3.如何根据观测序列及状态序列，学习给定观测序列，使得状态序列概率最大的模型参数？
对应解决方法：
《待添加》
MRF（马尔可夫随机场）
团
1.团：一个图的某一个子图，其内部节点两两连接，则该子图中的节点组成一个团
2.极大团：若图中，除团外，加入任一个节点，都不构成团，则该团为极大团
3.非极大团的特性也反映在极大团中，因此，所有节点的联合概率可以用极大团表示：
其中
是定义在Q上的势函数，对Q中的变量关系进行建模。
马尔可夫性
1.全局马尔可夫性：
给定两个变量子集的分离集，则这两个变量子集条件独立。
2.局部马尔可夫性：
给定某变量的邻接变量，则该变量相对其他变量条件独立。
3.对称马尔可夫性：
给定所有其他变量，两个非邻接变量条件独立。
另，为了满足非负性，指数函数常被用作势函数。
其中第一项考虑每一对节点之间的关系，第二项仅考虑单节点。
CRF（条件随机场）
若图G中所有变量都满足马尔可夫性，
则(y,x)构成一个条件随机场。
通过选用指数势函数并引入特征函数，条件概率公式表示如下：
特征函数通常是实值函数，用来刻画一些很可能成立或者期望成立的经验特性，以词性标注任务为例：
对比MRF和CRF，都是使用团上的势函数来定义概率，只是一个是联合概率，一个是条件概率。
引用
1.机器学习 周志华
注：
1.本来使用latex编辑了公式，但是发布的时候图片上传失败了，只能再截图了，以后看看有没有其他方法。
2.这里主要是模型的相关理论知识，后续对应用、代码也要补充一下。
