读吴军 |《数学之美》4:隐含马尔可夫模型

缺乏数学功底,《数学之美》这本书读起来逐渐感觉有些吃力了,不过还是能从吴军老师的表述中感觉到一些数学的魅力。可以预感到,接下来的笔记会越来越枯燥了。

在这一章里,吴老师主要讲了三个感念:通信模型、马尔可夫链、隐含马尔可夫模型。前两个相对容易理解,隐含马尔可夫模型就又些晦涩难懂了,不得不在网上查了一些内容帮助理解。

一、通信模型

如上图所示,通信的本质就是一个编解码和传输的过程。

发送者(人或者机器)把信息编码成为一串信号(S1,S2,S3,···比如手机发送的信号),然后通过一种媒体(无线电、电线等)将信号发送到接收者的手里,接收者便接收到了一串信号(O1,O2,O3,···),接收者再通过事先约定好的规则和上下文规则将这些信号解码,还原成原来的信息,这就是最基本的通信模型。

在实际操作中,几乎所有的自然语言处理问题(比如语音识别、机器翻译、自动纠错等)都可以等价成通信的解码问题。在通信中,接受者如何根据观测信号O1,O2,O3,···来推测发送者发送的信息S1,S2,S3,···呢?只需要从所有源信息中找到最可能产生出观测信号的那一个信息即可,这个问题正好可以通过数学来解决。

二、马尔可夫过程

现在我们不写数学公式,也不画模型图,只通过大白话来概括一下马尔可夫链的精髓。所谓的马尔可夫过程,就是符合马尔可夫假设的随机过程。

那么,什么是随机过程,什么又是马尔可夫假设呢?举个例子,我们把今年4月份成都每天的最高气温纪录下来,这个气温的变化就是一个随机过程,很明显气温之间的变化是有联系的,而马尔可夫假设今天的气温只和昨天的气温有关。

因此,马尔可夫过程的定义本身其实很简单,它假设某一时刻的状态转移的概率只依赖于它的前一个状态。虽然马尔可夫链很任性,但它却是可以让很多复杂的问题变的更简单。

三、隐含马尔可夫模型

隐含马尔可夫模型是一个统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。下面用一个简单的例子来阐述:

1、假设现在有三个不同的骰子。

第一个骰子是常见的骰子(称这个骰子为D6),6个面,每个面(1,2,3,4,5,6)出现的概率是1/6。

第二个骰子是个四面体(称这个骰子为D4),每个面(1,2,3,4)出现的概率是1/4。

第三个骰子有八个面(称这个骰子为D8),每个面(1,2,3,4,5,6,7,8)出现的概率是1/8。

2、现在我们开始掷骰子,先从三个骰子里挑一个,挑到每一个骰子的概率都是1/3。然后开始掷骰子,得到一个数字,1,2,3,4,5,6,7,8中的一个。不停的重复上述过程,我们会得到一串数字,每个数字都是1,2,3,4,5,6,7,8中的一个。

例如我们可能得到这么一串数字(掷骰子10次):1 6 3 5 2 7 3 5 2 4。这串数字叫做可见状态链。

3、在隐含马尔可夫模型中,我们不仅仅有这么一串可见状态链,还有一串隐含状态链。在这个例子中,这串隐含状态链就是你用的骰子的序列。比如,隐含状态链有可能是:D6 D8 D8 D6 D4 D8 D6 D6 D4 D8。

当然,这个例子中的概率值都是可以更改的,比如说我们可以规定D6的挑选概率为1/2,D4和D8为1/4,或者D4后不能选D6这样的规定。

这就是所谓的隐含马尔科夫模型。(例子来自博客园,博主:skyme

祝春安。

(未完待续……)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,036评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,046评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,411评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,622评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,661评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,521评论 1 304
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,288评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,200评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,644评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,837评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,953评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,673评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,281评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,889评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,011评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,119评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,901评论 2 355

推荐阅读更多精彩内容