概率图模型是一类用图表达变量相关关系的概率模型

隐马尔科夫模型HMM

1. 基本概念

• 隐马尔科夫模型中的变量分为两组：状态变量和观测变量
• 状态变量的所有取值组成状态集合
• 观测变量的所有取值组成观测集合

2. 模型定义

• 隐马尔科夫模型结构图：
  
  图1. 隐马尔科夫模型图
  
  图中y_i为状态变量是有序的，又称为状态序列，x_i为观测变量，又称为观测序列。
• 状态转移：y_i到y_i+1称为状态转移
• 通过指定状态集合，观测集合，状态转移概率矩阵，观测概率矩阵，初始状态概率向量这五个元素就可以确定一个隐马尔科夫模型。

• 通常用状态转移概率矩阵A，观测概率矩阵B，初始状态概率向量π，来指代隐马尔科夫模型，用数学语言表达如下图：

  
  
  图2. 隐马尔科夫模型的数学表达式

• 模型中所有变量的联合概率为：

  
  
  图3. 所有变量的联合概率
  
  

  说明：该公式成立有两个假设
  （1）齐次隐马尔科夫假设：任意时刻的状态只依赖与前一时刻的状态，与其他时刻的状态和观测无关。
  （2）观测独立性假设：任意时刻的观测只依赖与该时刻的状态，与其他观测与状态无关。

3. 三个基本问题

（1）概率计算问题

图4. 概率计算问题

• 所谓概率计算问题就是根据以往的观测序列x，推测当前最有可能的观测值x_n
• 解决该问题常用的算法为前向和后向算法
• TODO

（2）学习问题

图5. 学习问题

• 学习问题就是根据样本学得最优的模型参数
• 该问题求解算法：监督学习算法，非监督学习算法
• TODO

（3）预测问题

图6. 预测问题

• 根据观测序列，推断最有可能的状态序列
• 求解该问题常用的算法：近似算法，维特比算法
• TODO