系统简称：ELQ
发表会议：EMNLP 2020
研究领域：实体链接（整个流程端到端）
作者团队：Facebook AI Research

该工作提出一个端到端的问句实体链接模型，称为ELQ。
核心模块是使用一个biencoder来联合进行mention的探测与链接in one pass。

该工作在WebQSP和GraphQuestions实体链接任务上取得了大幅领先，同时推理速度较快。

验证性实验证明ELQ大幅度提升了下游QA的性能。

系统Overview

将question和entity分别编码，再分别预测mention的概率，和基于当前mention的候选的概率。

本文是BLINK的扩展，主要差别在于不需要预先识别好的mention boundaries，而采用了联合mention探测和entity消歧的方式。

问题定义与ELQ模型

给定一个问句和一个来自wikipedia的实体集合，目标是给出一个tuple List，其中每个tuple为 ，即候选实体和它对应的mention。

在实验中，作者取wikipedia的title作为实体的title ，取wikipedia中前128个token作为实体的描述。

问题的表示：

直接用BERT编码

实体的表示：

和BLINK中的表示方法相同，将title和description作为两个句子拼接进行编码

Mention探测

span prediction的思路，为每一个token预测成为mention_start和mention_end的概率，同时还为每一个token预测了是否在mention中的概率：

最终，span[i,j]成为一个mention的概率为：

Entity消歧

对于一个mention [i,j]，通过将做平均得到。然后计算mention和candidate的相似度：

通过这种方式，用softmax函数计算candidate 对应mention [i,j]的概率为：

训练

通过将损失函数相加的方式联合训练mention detection和entity disambiguation。（其实就是多任务，硬参数共享）。

这里采用了二元交叉熵作为损失函数。

实验

这里采用了两个QA数据集进行评测：WebQSP和GraphQuestions。
采用了人工标注的方式标注出entity mention以及对应的golden entity。该标注数据集也已经给出：
http://dl.fbaipublicfiles.com/elq/EL4QA_data.tar.gz

对比方法是 TAGME和VCG。
评测指标是PRF。

实体链接结果：

QA结果：

实体探测和实体链接消融分析：