论文阅读Joint Extraction of Entities and Relations with a Hierarchical Multi-task Tagging Model

该篇文章将实体抽取任务(EE)与实体关系联合抽取任务(JE)结合,考虑了两个任务内在的依存关系。该论文提出了一个新的标注框架,与新的decoder方式,在公共数据集 NYT10 与NYT11上刷新了性能记录。

论文的主要贡献

  1. 是第一个研究实体提取和联合提取任务之间的相互依赖性的人。
  2. 提出了一种新颖的分层多任务标记模型,以共同提取实体和关系。 此外,通过消融测试验证了模型捕获此类相互依赖性的能力。
  3. 在两个广泛使用的公共数据集NYT10和NYT11上,提出的模型大大优于最新方法,F1-得分分别提高了1.6%和6.1%。

模型设计

1.png

EE任务的标记框架采用主流的BIOES,对于JE任务,每个标签都由三个部分组成:关系类型,关系角色和相对于(h,r,t)的关系三重形式的单词位置。 与EE任务不同,由于观察到(来自作者的经验实验)增加候选标签的数量会损害JE任务的性能,故使用“ BIO”方案。

Word Embedding采用Glove。Encoder都采用BiLSTM,而Decoder作者没有采用传统的CRF或者vanilla LSTM而是提出了一种新的LSTM作为Decoder公式如图。模型训练的loss为EE任务与JE任务的loss之和。

2.png
3.png
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容