本文摘抄自李航老师《统计学习方法》一书。
上一讲中我们通过一个故事了解了隐马尔可夫模型,这一节,我们将通过数学上的术语进一步加深对隐马尔可夫模型的认识。
1、HMM的基本概念
隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。
隐藏的马尔可夫链随机生成的状态的序列,称为状态序列,每个状态生成一个预测,而由此产生的预测的随机序列,称为观测序列,序列的每一个位置可以看作一个时刻。
隐马尔可夫模型由初始概率分布,状态转移概率分布和观测概率分布确定,设Q是所有可能状态的集合,V是所有可能的观测的集合:
N是所有可能的状态数,M是可能的观测数。
I是长度为T的状态序列,O是对应的长度为T的观测序列:
A是N*N的状态转移概率矩阵:
其中:
B是观测概率矩阵:
所以,隐马尔可夫模型就是由初始状态概率向量π,状态转移概率矩阵A,和观测概率矩阵B决定,π和A决定了状态序列,B决定观测序列,因此隐马尔可夫模型可以用三元符号表示,即:
由定义可知,隐马尔可夫模型中隐含了两个重要的假设:
下面来看一个隐马尔可夫模型的例子:
在这个问题中,存在两个随机序列,第一个是盒子的序列,即状态序列,一个是球的颜色的观测序列,即观测序列,前者是隐藏的,后者是可以观测的,根据所给的条件,我们可以写出隐马尔可夫模型的三要素:
状态的集合:
观测集合:
初始概率分布:
状态转移概率矩阵:
观测概率分布:
观测序列的生成过程如下:
隐马尔可夫模型的三个基本问题: