维特比算法

  • 输入输出
    已知观察序列,求概率最大的状态。

  • https://upload.wikimedia.org/wikipedia/commons/7/73/Viterbi_animated_demo.gif

    image

  • 思想
    而维特比算法的精髓就是,既然知道到第i列所有节点Xi{j=123…}的最短路径,那么到第i+1列节点的最短路径就等于到第i列j个节点的最短路径+第i列j个节点到第i+1列各个节点的距离的最小值。

  • 复杂度
    假设每一列节点最多有D个(也就是图的宽度为D),并且图一共有N列,那么,每次计算至多计算D*D次(从i列的D个节点中挑一个计算到i+1列D个节点的距离)。至多计算N次。那么复杂度骤减为O(ND^{2}),远远小于穷举O(D^{N})

  • 伪代码

for t in range(1, 观察序列长度):
    for state in (状态集合):
          V[t] = max([ ( V[t-1][ y0 ] * trans_p[y0][state] * emit_p[y0][ obs[t] ], y0 )  for y0 in states]) #  使得上一层状态y0 到本状态state 概率值最大
          
  • 代码:
# coding:utf-8
'''
@file: vitebi.py 
@time: 2018/10/18 下午8:43
@desc:
'''
states = ('Healthy', 'Fever')

observations = ('normal', 'cold', 'dizzy')

start_probability = {'Healthy': 0.6, 'Fever': 0.4}

transition_probability = {
    'Healthy': {'Healthy': 0.7, 'Fever': 0.3},
    'Fever': {'Healthy': 0.4, 'Fever': 0.6},
}

emission_probability = {
    'Healthy': {'normal': 0.5, 'cold': 0.4, 'dizzy': 0.1},
    'Fever': {'normal': 0.1, 'cold': 0.3, 'dizzy': 0.6},
}


# Helps visualize the steps of Viterbi.
def print_dptable(V):
    print("    ")
    for i in range(len(V)):
        print("%7d" % i)

    for y in V[0].keys():
        print("%.5s: " % y)
        for t in range(len(V)):
            print("%.7s" % ("%f" % V[t][y]))


def viterbi(obs, states, start_p, trans_p, emit_p):
    V = [{}]
    path = {}

    # Initialize base cases (t == 0)
    for y in states:
        V[0][y] = start_p[y] * emit_p[y][obs[0]]
        path[y] = [y]

    # Run Viterbi for t > 0
    for t in range(1, len(obs)):
        V.append({})
        newpath = {}

        for y in states:
            (prob, state) = max([(V[t - 1][y0] * trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])
            V[t][y] = prob
            newpath[y] = path[state] + [y]

        # Don't need to remember the old paths
        path = newpath

    print_dptable(V)
    (prob, state) = max([(V[len(obs) - 1][y], y) for y in states])
    return (prob, path[state])


def example():
    return viterbi(observations,
                   states,
                   start_probability,
                   transition_probability,
                   emission_probability)


print(example())

参考:
http://www.hankcs.com/program/algorithm/%E7%BB%B4%E7%89%B9%E6%AF%94%E7%AE%97%E6%B3%95%E9%80%9A%E4%BF%97%E7%90%86%E8%A7%A3.html

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 问题背景� 假设观测序列为y1,y2,y3,隐含序列为x1,x2,x3,其中x1->y1为输出概率,x1->x2为...
    geofer阅读 2,962评论 0 0
  • 不知从什么时候开始,整句识别成为了拼音输入法的标配,几乎每一款输入法都有整句输入功能。重码量巨大的拼音输入也因此逐...
    罗立青阅读 7,429评论 0 7
  • 前言:作为堂堂数学系的学生,竟然很多算法都不会。表示对自己很失望,今天学习了一下维特比算法,发现很简单,而且隐约中...
    风之子doudou阅读 3,207评论 0 0
  • 动态规划求最短路径算法,与穷举法相比优点在于大大降低了时间复杂度; 假如从起点A到终点S的最短路径Road经过点B...
    NemoHo阅读 4,704评论 2 4
  • 六一了。 熊孩子当当的节日到了,想起我们那时候的六一,蓝裤白衬衫,运动鞋,早早排练,没衣服借衣服,那时候的六一很简...
    海深深阅读 1,345评论 2 0