引用信息：Yan H, Gui L, Pergola G, et al. Position bias mitigation: A knowledge-aware graph model for emotion cause extraction[J]. arXiv preprint arXiv:2106.03518, 2021.
论文地址：https://export.arxiv.org/pdf/2106.03518.pdf
已发表：ACL2021
背景
情绪原因提取（ECE）任务旨在识别包含文本中表达的特定情绪的情绪唤起信息的从句。
在数据集上训练的情感提取模型在给定一个情感从句时，被用来分类一个从句是否为对应的原因从句。
ECE数据集显示出一种倾向，即大多数注释的原因从句要么直接在其相关的情感从句之前，要么是情感从句本身。现有的ECE模型倾向于探索这种相对位置信息，并受到数据集偏差的影响。
问题与解决办法
ECE数据集通常是通过使用情绪词作为查询来检索相关上下文作为情绪原因注释的候选者来构建的，这可能会导致强烈的位置偏差（Ding和Kejriwal，2020）。图1描述了ECE数据集中原因从句相对于情绪从句的位置分布（Gui et al.，2016）。
我们认为，使用子句相对位置的模型本质上会受到数据集偏见的影响，因此，当原因子句与情感子句不接近时，可能无法很好地推广到看不见的数据。例如，在最近发布的情绪原因数据集中，只有25-27%的原因从句位于情绪从句之前（Poria et al.，2020）。
为了研究现有ECE模型对从句相对位置的依赖程度，我们提出了一种新的策略来生成对抗性例子，其中相对位置信息不再是原因从句的指示特征。我们在这种对抗性示例上测试了现有模型的性能，并观察到性能显著下降。
为了缓解位置偏差问题，我们建议利用常识知识（commonsense knowledge）来增强候选子句和情感子句之间的语义依赖性。更具体地说，我们构建了一个子句图，其节点特征由子句表示初始化，并具有两种类型的边，即序列边（SEdge）和知识边（K-Edge）。S-Edge链接两个连续的子句以捕获子句邻域信息，而K-Edge则将候选子句与情感子句链接，如果它们之间存在从概念网提取的知识路径（Speer et al.，2017）。我们扩展了关系GCN（Schlichtkrull et al.，2018），通过收集两种类型的边中编码的信息来更新图节点。
最新相关工作
一种常见的策略是将子句相对位置嵌入与候选子句表示连接起来（Ding等人，2019；Xia等人，2019年；Li等人，2019）。
Zixiang Ding, Huihui He, Mengran Zhang, and Rui Xia. 2019. From independent prediction to reordered prediction: Integrating relative position and global label information to emotion cause identification. In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, pages 6343–6350.
动态全局标签增强的相对位置（PAE-DGL）（Ding et al.，2019）根据从句与目标情感从句的距离对从句进行重新排序，并将周围从句的信息传播给其他从句。
Zixiang Ding, Huihui He, Mengran Zhang, and Rui Xia. 2019. From independent prediction to reordered prediction: Integrating relative position and global label information to emotion cause identification. In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, pages 6343–6350.
Xu等人（2019）使用情绪依赖和独立特征对从句进行排序并确定原因。RNN转换器层次网络（RTHN）（Xia et al.，2019）认为文档中的子句之间存在关系，并建议同时对多个子句进行分类。
B. Xu, H. Lin, Y. Lin, Y. Diao, L. Yang, and K. Xu. 2019. Extracting emotion causes using learning to rank methods from an information retrieval perspective. IEEE Access, 7:15573–15583.
Li等人（2019）提出了一种基于多注意力的神经网络（MANN）来对候选从句和情感从句之间的相互作用进行建模。
Xiangju Li, Shi Feng, Daling Wang, and Yifei Zhang. 2019. Context-aware emotion cause analysis with multi-attention-based neural network. KnowledgeBased Systems, 174:205 – 218.
整体架构
如图 2 所示，我们的模型中有四个组件：文档编码模块、上下文感知路径表示学习模块、基于 GCN 的图形表示更新模块，最后是用于原因子句分类的 softmax 层。
为了探索候选子句与情感子句之间的因果关系，我们建议提取将候选子句中的词与情感子句中带注释的情感词或情感类标签 Ew 链接起来的原因相关路径。
我们将候选从句中的每个关键字视为头部实体 eh，将情感从句中的情感词或情感类标签视为尾部实体 et。
由于并非 ConceptNet 中的所有关系都与因果关系相关或指示因果关系，因此我们进一步删除包含以下四种关系中的任何一种的路径：“反义词”、“不同于”、“不希望”和“不能”。 最后，我们按路径的长度按升序对路径进行排序，并选择前 K 个路径作为每个候选情感子句对的结果。例如 Figure 3.
The 5-th clause is annotated as the emotion clause and the emotion class label is 'happiness'. For the keyword, 'adopted', in the first clause, we show two example paths extracted from ConceptNet, each of which links the word 'adopted' with 'happiness'. One such a path is "adopted −related to→ acceptance −has subevent→ make better world−causes→ happiness".
实验
评估指标
Precision (P), Recall (R), and F1-Measure
实验结果
在极端情况下，我们从模型中删除位置信息。结果如图4所示。可以观察到，使用所有模型的相对位置可以获得最佳结果。
Performance under Adversarial Samples
结果如表2所示。受攻击的ECE模型仅在原始数据集上进行训练。生成的对抗性示例仅用作测试集。我们可以观察到现有ECE模型的性能显著下降了23-32%，其中一些模型的性能甚至比早期基于规则的方法差，这表明它们对数据集中的位置偏差很敏感。
贡献
我们调查了情绪原因提取 (ECE) 数据集中的偏差，并提出了一种新的策略来生成对抗性示例，其中候选子句相对于情感子句的位置不再是原因提取的指示性特征。
• 我们开发了一种基于子句图的新情感原因提取方法，其中节点是子句，连接两个节点的边捕获邻域信息以及从子句之间的常识知识库中提取的隐式推理路径。 使用扩展的 Relation-GCN 更新节点表示。
• 实验结果表明，我们提出的方法在原始 ECE 数据集上的性能与现有的最先进方法相当，并且在对对抗性示例进行评估时更加稳健。
案例
以下是原文中案例，为避免语义发生变化，这里不进行转译，附上：
在图5.中，这些注意力权重显示了推理过程中候选从句和情感从句之间的“距离”。
