隐马尔可夫模型(HMM)—— 一只隐藏的🐎(一)

以前提到隐马模型,也就仅仅知道这个东西是基于条件概率计算的。由于自己比较佛系,没有深入其中了解其中原理。不过有句话说的很对——“苍天放过谁”,作为一个搞生信的怎么也绕不过大名鼎鼎的 Hidden Markov Model (HMM),今天就系统的总结一下这只隐藏的🐎是如何躲猫猫的~
在讲隐马模型之前先了解一下

条件概率模型
条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为:P(A|B),读作AB发生的条件下发生的概率。若只有两个事件A,B,并且相互独立,那么,P(A|B) = \frac {P(AB)} {P(B)}
做个变形就可以得到概率的乘法公式
当P(A)>0时,P(AB)=P(A) X P(B|A) (1)
当P(B)>0时,P(AB)=P(B) X P(A|B) (2)
该变形可以理解为A,B事件同时发生的概率,(1)是A发生后,B也发生的概率;(2)是B发生后,A也发生的概率,那么当多个事件都同时发生的概率?
我们可以用以下去推论:
P(A_1A_2A_3....A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)......P(A_n|A_1A_2A_3..A_{n-1})
可以这样理解如果要使n件事件同时发生,不妨先发生 A_1,接着再发生A_2 ,等等的下去,后面的概率这时候都是条件概率了哦~

全概率模型
通过上面的推导,我们发现

image.png

可以推出全概率公式:
image.png

比如一件事情的结果就只有三种 A_1, A_2, A_3 ,也知道它们发生的概率,但是呢,这时候偏偏有一个事件B也发生了,我们的目的是找出B发生的概率,于是呢,我们让B与 A_1, A_2, A_3 发生联系,从而进行试验,可以得到各自的条件概率P(B|A_1), P(B|A_2), P(B|A_3)
,那么这就足够了,我们就可以得到事件B发生的概率
P(B)=P(A_1)P(B|A_1) + P(A_2)P(B|A_2) + P(A_3)P(B|A_3)

贝叶斯概率模型
贝叶斯,就是知道结果找原因

image.png

通常把 P(A_1), P(A_2), P(A_n) 叫做先验概率,就是做试验前的概率,就是经验了, 而把P(A_k|B) (k=1...n)叫做后验概率,在统计决策中十分重要,由此得到的决策叫做贝叶斯决策。也就是说我们在对经验不断地更新和修正,当然是利用生活实践,即所谓试验。

两道习题遛一遛:

1.一台设备由10个元件组成,在保修期间,每个元件的失效率为0.05,各元件是否失效是相互独立的,若有一个元件失效,设备不能使用的概率为0.5,若有两个元件失效,设备不能使用的概率是0.8,若有三个或者三个以上的元件失效,设备一定不能使用。
1)求设备在保修期内不能使用的概率;
2)已知设备不能使用,求是一个元件失效的概率。


image.png

2.设某种产品50件为一批,如果每批产品中有0,1,2,3,4件次品的概率分别为0.35,0.25,0.2,0.18,0.02,今从某批产品中抽取10件,查出一件次品,求该批产品中次品不超过2件的概率。


image.png

3.某厂每天早上需调整机器,由经验可知,机器调整正确的概率为0.8.调整不正确的概率为0.2;又已知在机器调整正确时产品合格率为0.9,调整不正确时合格率为0.5.现在从当天生产的产品中任取3件,结果是:(合格,合格,不合格),求该天机器调整正确的概率。若任取3件中有一件不合格,其他条件不变,该天机器调整正确的概率是多少?
image.png

马尔可夫模型
隐马模型是来源于马尔可夫模型,所以马尔可夫模型是跑不掉得,例如:已知N个有序随机变量,根据贝叶斯条件概率定理,他们的联合分布可以写成条件分布的连乘积:(1)

image.png

马尔科夫模型是指,假设序列中的任何一个随机变量在给定它的前一个变量时的分布与更早的变量无关,即:(2)
image.png

在此假设下,N个随机变量的联合分布可以简化为:(3)
image.png

该分布通过概率图表达就清楚多了,如下图为一个一阶马尔科夫链,根据概率图模型中的d分离概念,可以很容易确认马尔科夫性。
image.png

一阶马尔科夫性只能表达当前变量与前一个变量的关系,然而很多实际问题往往没有这么简单。为了表达当前变量与更早的变量之间的关系,可以引入高阶马尔科夫性。概括来说,M阶马尔科夫性是指当前随机变量在给定其之前的M个变量时与更早的变量无关,用公式表达就是:(4)
image.png

高阶马尔科夫性虽然达到了关联当前变量与更早的变量的目的,但有一个问题就是指数爆炸问题,即参数数量随着M的增大呈指数增长。假设每个随机变量有K 种状态,对于一阶马尔科夫模型而言,要表达条件分布P(X_n) = P (X_{n-1}), 因为对于X_{n-1}的每个取值(K个取值)都需要K个x_n的取值。根据条件概率的定义,这 K 个值的和为1,因此实际有 K-1 个自由参数,因此共需要 K(K-1) 个参数。
同理,对于M 阶马尔科夫模型而言,要表达条件分布 p(x_n|x_{n-1}......x_{n-M})则需要K^M(K-1)个参数。对于 x_{n-1}, .....x_{n-M}的每一个取值的组合, (共K^M 个),都需要 K-1个x_n的取值。

那么,有没有一种方法即能将当前变量与更早的变量关联起来,又不需要那么多参数呢?当然,这里有一种非常强大的手段,即引入隐变量,这是机器学习中用简单的基础部件表达丰富的模型的有力手段。这里如果假设隐变量构成一阶马尔科夫模型,而每个观测变量与一个隐变量关联,则可以得到一类模型的基础结构,即状态空间模型。如下图,Z_n 为隐藏变量,x{_n}为观测变量。

image.png

该类模型的关键是隐藏变量之间满足如下条件独立性,即在给定z_n 时,z_{n-1} 和 z_{n+1} 条件独立。
image.png

这类模型的联合分布可以表示为:
image.png

可见,看似很复杂的模型被分解成了简单的p(z_1), p(z_n|z_{n-1}), p(x_n|z_n) 三部分,这三者分别叫做初始概率模型、转移概率模型和发射概率模型,对状态空间模型建模实际就是对这三者进行建模。而且此时观测变量之间不再具有任何马尔科夫性,因为此时 x_n 的分布与其之前所有的观测变量都相关,无法从p(x_n|x_{n-1}..,..,.x_1) 的条件变量中拿掉任何一个变量,这样就将一个变量与其之前所有的变量关联起来了。这就是隐变量的能力。

这个时候就产生了一个隐藏变量,就是那只隐藏的🐎

当 z{_n} 为离散变量时,该状态空间模型即为隐马尔科夫模型。现在可以解释一下“隐马尔科夫”这个名字的含义了。“马尔科夫”自然是表示随机变量之间构成一个马尔科夫链了。而“隐”是指我们要推测的变量是未知的、隐藏的。正是这些隐藏的变量构成了马尔科夫链,所以就叫“隐马尔科夫”了。

隐马模型
隐马模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列(state sequence),再由各个状态生成一个观测而产生观测随机序列(observation sequence)的过程,序列的每一个位置又可以看作是一个时刻。
组成:
初始概率分布
状态转移概率分布
观测概率分布

下一节将着重介绍HMM的原理及应用

https://zhuanlan.zhihu.com/p/134036707
https://zhuanlan.zhihu.com/p/27907806

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容