条件随机场CRF(conditional random field)

0 序：标注问题

image.png

图1
本篇部分文字和公式为阅读<统计学习方法>(李航)第11章，条件随机场所做笔记。图部分为结合个人理解所画，可能有误，欢迎指正~

1 定义

1.1 条件随机场

设X和Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布，若随机变量Y构成一个由无向图G=（V，E）表示的马尔可夫随机场，即
$P=(P_v|X,Y_w, 节点v以外的所有节点)=P(Y_v|X,Y_w,与节点v有边连接的所有结点)$
对任意节点v成立，则称条件概率分布P(Y|X)为条件随机场。

1.2 线性条件随机场

设
$X=(X_1,X_2,...,Y_{i-1},Y_{i+1},...,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$
$i=1,2,...,n(在i=1和n时只考虑单边)$

则称P(Y|X)为线性条件随机场。

image.png

图2 条件随机场

线性条件随机场
X和Y具有相同的图结构为线性条件随机场

image.png

图 3 线性条件随机场

在标注问题中，

X表示输入的观测序列，Y表示对应的输出标记序列或状态序列。

1.3 参数化形式

设P(Y|X)为线性链条件随机场，则在随机变量X取值为x的条件下，随机变量y的条件概率具有如下形式：
$P(y|x)= \frac{1}{Z(x)}exp(\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i))$
其中
$Z(x)=\sum_yexp(\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i))$
$t_k和S_l是特征函数，\lambda_k,\mu_l是对应的权值，t_k和s_l的取值为1or0,所以条件随机场完全由对应的权值\lambda_k,\mu_l确定。$
$Z(x)是规范化因子，求和是在所有可能的输出序列上进行的。$

2 举个栗子

设有一标注问题，输入观测序列为

$X=(X_1,X_2,X_3)$
输出标记序列为
$Y=(Y_1,Y_2,Y_3)，其中Y_1,Y_2,Y_3的取值范围为（1，2）$
$假设特征t_k,s_l和对应的权值\lambda_k, \mu_l如下：$
$\begin{align} &t_1=t_1(y_{i-1}=1, y_i=2,x,i),\qquad i=2,3,\qquad\qquad \lambda_1=1 \\ &t_2=t_2(y_1=1,y_2=1,x,2),\qquad\qquad\qquad\lambda_2=0.6\\ &t_3=t_3(y_2=2,y_3=1,x,3),\qquad\qquad\qquad \lambda_3=1\\ &t_4=t_4(y_1=2,y_2=1,x,2),\qquad\qquad\qquad \lambda_4=1\\ &t_5=t_5(y_2=2,y_3=2,x,3),\qquad\qquad\qquad \lambda_5=0.2\\ &S_1=S_1(Y_1=1,x,1),\qquad\qquad\qquad \mu_1=1\\ &S_2=S_2(Y_i=2,x,i),\qquad i=1,2\qquad\qquad \mu_2=0.5\\ &S_3=S_3(Y_i=1,x,i),\qquad i=2,3\qquad\qquad \mu_3=0.8\\ &S_4=S_4(Y_3=2,x,3),\qquad\qquad\qquad \mu_3=0.5 \end{align}$

image.png

图 4 状态矩阵

3 维特比算法求最优路径

3.1 初始化
$\delta_1(j)=w*F_1(y_0=start,y_1=j,x),j=1,2$
$\begin{align} &i=1,y=1,\qquad\qquad \delta_1(1)=w*F_1(y_0=start,y_1=1,x) = S_1=1 \end{align}$
$\begin{align} &i=1,y=2,\qquad\qquad \delta_1(2)=w*F_1(y_0=start,y_1=2,x) = S_2=0.5 \end{align}$
3.2 递推
$\begin{align} &i=2 \qquad\delta_2(l)=max_j\{ \delta_1(j)+w*F_2(j,l,x)\}\\ &\qquad\qquad i=2,y=1 \qquad\qquad \delta_2(1)=max\{1+\lambda_2t_2+\mu_3s_3,0.5+\lambda_4t_4+\mu_3s_3\}=2.4,\qquad\psi_2(1)=1\\ &\qquad\qquad i=2,y=2 \qquad\qquad \delta_2(2)=max\{1+\lambda_1t_1+\mu_2s_2,0.5+\mu_2s_2\}=2.5,\qquad\psi_2(2)=1 \end{align}$
$\begin{align} &i=3 \qquad\delta_3(l)=max_j\{ \delta_2(j)+w*F_3(j,l,x)\}\\ &\qquad\qquad i=3,y=1 \qquad\qquad \delta_3(1)=max\{2.4+\mu_3s_3,2.5+\lambda_3t_3+\mu_3s_3\}=4.3,\qquad\psi_3(1)=2\\ &\qquad\qquad i=3,y=2 \qquad\qquad \delta_3(2)=max\{2.4+\lambda_1t_1+\mu_4s_4,2.5+\lambda_5t_5+\mu_4s_4\}=3.9,\qquad\psi_3(2)=1 \end{align}$

3.3 终止
$\begin{align} &max_y(w*F(y,x))=max\delta_3(l)=\delta_3(1)=4.3\\ &y_3^*(w*F(y,x))=argmax_l\delta_3(l)=1(i=3,y=1时取最大值) \end{align}$

3.4 返回
$\begin{align} &y_2^*=\psi_3(y_3^*)=\psi_3(1)=2\\ &y_1^*=\psi_2(y_2^*)=\psi_2(2)=1 \end{align}$

最优标记序列为
$\begin{align} &y^*=(y_1^*,y_2^*,y_3^*)=(1,2,1) \end{align}$

image.png

图 5 完成标记过程

4 其他：

从上述图5可看出，我们在用bert+lstm+crf进行命名实体识别时，bert+lstm输出的即为状态矩阵，状态矩阵作为crf层的输入，输出为每个单字的标注。

最后编辑于：2021.03.09 13:44:32

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 218,122评论 6赞 505
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,070评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,491评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,636评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,676评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,541评论 1赞 305
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,292评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,211评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,655评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,846评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,965评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,684评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,295评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,894评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,012评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,126评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,914评论 2赞 355

条件随机场CRF(conditional random field)

0 序：标注问题

1 定义

1.1 条件随机场

1.2 线性条件随机场

1.3 参数化形式

2 举个栗子

3 维特比算法求最优路径

4 其他：

推荐阅读更多精彩内容