论文笔记 | 通过Dependency-Bridge RNN实现事件抽取

本文主要复述论文["Jointly Extracting Event Triggers and Arguments by Dependency-Bridge RNN and Tensor-Based Argument Interaction"] 的主要内容，以便自我回顾，也希望可以给大噶带来帮助~

摘要

传统的事件提取依赖于词法和语法特征，这可能不会推广到不同的数据集。另一方面，深度神经网络能够自动学习底层特征，但现有网络不能充分利用语法关系。本文提出一种新的dependency bridge RNN。在循环神经网络上构建模型，用依存关系增强训练模型中每个词的语法相关信息。说明了在RNN中同时应用树结构和序列结构带来比仅使用顺序RNN更好的性能。此外，使用张量层同时捕获候选参数之间的各种类型的潜在交互，以及识别/分类事件的所有参数。

介绍

事件抽取成分术语：

LSTM(Long Short Term Memory) :

令当前时间步为t，LSTM 更新方程表示如(1)，其中参数WL ∈ R4d×2d，bL ∈ R4d×1。论文中采用了双向RNN来增强LSTM性能。BiLSTM的隐藏状态在每个时间状态以前向和后向两种方式计算。前后向以(2)的形式来表示。

Dependency Bridges：
Figure1展示了一个句子的依存关系树，描述了各成分之间的连接，比如"nmod","sdvcl"，这样的依存连接有助于基于联合特征的事件提取。论文中将依赖边添加到BiLSTM体系结构中，作为可以给当前LSTM单元提供语法相关信息的捷径。称其为依存桥梁（dependency bridges）。

Figure2展示了上述结构。论文为每种类型的依赖关系（例如nsubj，dobj）分配权重;相同依赖关系的不同方向也具有不同的权重。例如，“nsubj”具有正向权重a + nsubj，反向具有权重a-nsubj。

在第t个时间步，令连接到当前单元的dependency bridge为Sin(index, type)，分别表示依赖边的源索引和依赖性类型。此时隐藏层表示为(3)。并设置一个新gate：dt，以避免依赖信息过度影响原始信息。dt计算方式为(4)，其中参数Wd ∈ Rd×2d, bd ∈ Rd×1。

触发器分类

定义hs = [h→NL，h←1]表长度Nl的句子的编码，hs解释为最终前向和后向的串联。定义候选触发器htri相应BiLSTM的输出与hs的拼接作为候选触发器的特征C = [htri，hs]，然后投入多层反馈器(5)，参数 Wc ∈ R(nc×2nhu), bc ∈ R(nc), WT ∈ R(nET×nc), bT ∈ R(nET)。其中nc为Hc的长度，nhu是BiLSTM的隐藏层大小，nET是事件类型的数量（包括“NoEvent”类型）。OT∈RnET的每个条目表示事件类型的概率。

参数分类

候选参数之间的关联会影响到参数的分类。论文中提出用向量表示相互作用，同时考虑所有候选参数时，将所有相应的隐藏层（BiLSTM的输出）收集为矩阵H∈Rnhu×nA，其中nA是候选参数的数量。

对于每对参数，选择使用前馈层来预测两个参数之间的关系。每个参数 - 参数关系由长度为nT的向量表示，隐藏层描述为H = {hi |i∈[1，nA]}，前馈层表示为(6)，参数 Wd ∈ RnT×2nhu, bd ∈ RnT。由此获得张量T来表示参-参的相互作用，并选择最大池化捕获最有用的关联特征，表示为(7)，参数Fmaxp∈R(nA×nT)是nA个候选参数的最大合并交互特征。

为了judge两个候选参数在一个事件中出现的可能性大小，论文中添加了SMA(self-matching attention)矩阵，且SMA矩阵中的值范围从0到1，矩阵A计算式为(8)，然后我们将A和候选参数隐藏层矩阵H相乘，以便SMA矩阵动态地收集句子中所有出现的候选参数的证据，由(9)给出。然后联合特征向量生成L(10)，其中HC⊗enA意味着将HC复制nA次，并且L∈R^[nA×(nT + 2nhu + nc)]^。这样一来，每个参数有一个长度(nT +2nhu + nc)的特征向量Li，然后投入分类器(11)，其中OR（i）∈R^(1×nR)是第i个候选参数的最终输出，OR（i，j）是参数角色j的score。

最大边界模型训练

定义边缘损失(12)，给定正确角色标签序列yi和正确事件类型pi，预测的角色标签序列y，预测的事件类型p^，且定义κ为折扣参数。对于具有角色标签序列yi和事件类型pi的输入实例中的xi，我们通过联合提取事件触发器和参数的网络分数的总和和乘法来定义句子级别分数(13)。

对于给定的训练实例(xi，yi，pi)，其最大可达到的边界形式表示为(14)，由此引出目标函数的正则表达式(15)，论文采用subgradient(Ratliff, Bagnell, and Zinkevich 2007) 对式(15)进行梯度下降(16)，其中（pmax，ymax）是方程式15中得分最高的事件类型和角色标签序列，可使用shuffled mini-batches来最小化目标得到参数θ。

实验

论文选择ACE2005语料库，使用word2vec进行word-Embedding，超参设置如table(2)。使用https://nlp.stanford.edu/software/lex-parser.shtml解析句子，使用https://nlp.stanford.edu/software/stanford-dependencies.shtml得到依存关系桥。

实验结果与其他模型的数据对比展示：