A Multi-turn Machine Reading Comprehension Framework with Rethink-Mechanism for Emotion-Cause Pair Extraction.
论文地址：https://export.arxiv.org/pdf/2209.07972v1.pdf
github：https://github.com/zhoucz97/ECPE-MM-R
问题与背景
1 情感原因对提取(ECPE)是情感原因分析中的一项新兴任务，它从情感文档中提取潜在的情感原因对。
2 大多数最近的研究使用端到端(end-to-end)的方法来处理ECPE任务。这些方法要么存在标签稀疏性(label sparsity )问题，要么无法对情感和原因之间的复杂关系进行建模。
3 大多数都没有考虑子句的明确语义信息(explict semantic information)。
解决办法
将ECPE任务转换为文档级机器阅读理解（MRC）任务，并提出了一个具有重新思考机制的多回合MRC框架（MM-R）。
我们的框架可以对情感和原因之间的复杂关系进行建模，同时避免生成配对矩阵(标签稀疏性问题的主要原因)。
为了应对这些挑战，本研究将ECPE任务转化为文档级机器阅读理解（MRC）任务，并提出了一个具有重新思考机制的多回合MRC框架（MM-R）。多回合结构对ECPE任务进行分解，以对情绪和原因之间的对应关系进行建模，并避免生成配对矩阵。
在每一个环节中，手动设计的静态和动态查询都充分利用了子句的明确语义信息，以提高情感或原因提取的性能。
相关研究
Emotion-Cause Pair Extraction
目前的趋势是使用端到端的方法来解决ECPE任务和两个子任务，情绪提取和原因提取，这两个子任务旨在在一个文档中提取所有情绪和原因。这些端到端的方法可以分为两类：
对级方法（pair-level methods）将所有子句对组合起来形成子句配对矩阵；
通过设计新的标记方案来实现序列标记方法（sequence labeling methods）。
（Ding et al.，2020a，b；Wei et al.，2020；Chen等人，2020b；Wu等人，2020）提出了配对级(pair-level)方法，该方法通过枚举子句的所有可能组合来生成配对矩阵，然后选择有效的情绪-原因对，如图1（b）所示
此外，受人类两阶段阅读行为的启发,（Zheng et al.，2019），提出了重新思考机制(rethink mechanism)来进一步验证候选情绪-原因对，以增强情绪和原因之间的信息流，提高整体表现。
Machine Reading Comprehension
Liu等人（2020）将事件提取视为一个机器阅读理解问题，以解决数据稀缺问题。Chen等人（2021）和Mao等人（2021）分别提出了双向MRC和双MRC框架来处理基于方面的情感分析。本文将ECPE任务形式化为文档级MRC任务，并提出了具有重新思考机制的多回合MRC框架。
Zixiang Ding, Rui Xia, and Jianfei Yu. 2020a. Ecpe2d: Emotion-cause pair extraction based on joint two-dimensional representation, interaction and prediction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 3161–3170.
Jian Liu, Yubo Chen, Kang Liu, Wei Bi, and Xiaojiang Liu. 2020. Event extraction as machine reading comprehension. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1641–1651.
Yue Mao, Yi Shen, Chao Yu, and Longjun Cai.2021.Ajoint training dual-mrc framework for aspect based sentiment analysis. In Proceedings of the AAAI Con- ference on Artifciallntelligence, volume 35, pages 13543-13551
案例
例如，如图1（c）所示，情绪分句c2和c4可以在第一轮中获得，而与每个情绪分句对应的原因分句可以在第二轮中获得。因此，可以在没有配对矩阵的情况下获得候选情绪-原因对集合{（c2，c3），（c2，c4），（c4，c4）}。在第三轮中，重新思考机制表明c2不是c4的相应情感从句之一。因此，有效的情绪原因对集合变为{（c2，c3），（c4，c4）}。
过程：
在第一轮中，所有的情感子句都被提取出来；
在第二轮中，在关于情绪的明确语义信息的帮助下，提取与每个情绪子句相对应的原因子句；
第三轮中，重新思考机制验证了每个候选情绪-原因对。
实验过程
Query Design设计问句
• Static emotion query qse ∈ Qse: The query "Is it an emotion clause?"is designed to extract all emotion clauses 抽取出所有的情感句
• Static cause query qsc ∈ Qsc: The query "Is it a cause clause?"is designed to extract all cause clauses. 抽取出所有的原因句
• Static pair query qsp ∈ Qsp: The query"Is it an emotion-cause pair?"is designed to extract all emotion-cause pairs. 抽取出所有的情感原因对
• Dynamic emotion query qde ∈ Qde: The query template "Is it an emotion clause corresponding to ci?"is designed to extract emotion clauses corresponding to clause ci.
抽取出该原因句ci对应的情感句
• Dynamic cause query qdc ∈ Qdc: The query template "Is it a cause clause corresponding to ci?" is designed to extract cause clauses corresponding to clause ci.
抽取出该原因句ci对应的原因句
整体框架
Encoding Layer
The encoding layer includes the token-level encoding layer and the clause-level encoding layer.
Token-level encoder
This study used BERT (Devlin et al., 2019) as its token-level contextualized encoder. Specifically, a document D = (c1, c2, ..., c|D|) and a query q are used to construct the BERT input sequence.
I = {[CLS], wq,1, wq,2, ..., wq,|q|, [SEP ], w1,1, w1,2, ..., w|D|,1, ..., w|D|,|c|D||},
Clause-level encoder:
The attention mechanism and the graph attention network (GAT) (Veliˇckovi ́c et al., 2017) are used to obtain clause level hidden representations.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186.
Petar Veliˇckovi ́c, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. arXiv preprint arXiv:1710.10903.
数据与实验评估
基准数据集（Xia and Ding，2019）是基于新浪新闻网站的公共汉语情感语料库（Gui et al.，2016）构建的。
Baselines:
• SL-NTS
• TransDGC
• ECPE-2D
• PairGCN
• RANKCP
• ECPE-MLL
Rui Xia and Zixiang Ding. 2019. Emotion-cause pair extraction: A new task to emotion analysis in texts. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1003–1012.
结论
本研究将情绪-原因对提取（ECPE）任务转化为机器阅读理解（MRC）任务，并提出了一种具有重新思考机制的多回合MRC（MM-R）。这种结构依次提取情绪和原因，避免了标签稀疏性问题，并对情绪和原因之间复杂的对应关系进行了建模。在每一个环节中，明确的语义信息都可以被有效地使用。此外，重新思考机制通过建模从原因到情绪的信息流来验证每个候选的情绪-原因对。在ECPE语料库上的实验结果证明了所提出的模型的有效性。
问题与思考
1 设置QA问句的方法；
2 重新思考机制（rethink mechanism）的多回合MRC（MM-R）对于设置新的任务具有启发性；
3 图2关于实验的整体设计中加入了encoding layer的作用如何？
论文英文重点细节细读（以下部分为重点详细内容）
Abstract：
Emotion-cause pair extraction (ECPE) is an emerging task in emotion cause analysis, which extracts potential emotion-cause pairs from an emotional document. Most recent studies use end-to-end methods to tackle the ECPE task.
end-to-end methods：端到端学习意味着我们用单个学习算法取代流水线，使其直接从输入到期望的输出，以克服传统方法的局限性。具体解释来自stackoverflow如下：
Traditionally, we extract pre-defined features before prediction.
data -> extracted features -> learning algorithm -> output
However, hand-engineered features limit the potential performance as some of them are poor approximation of reality and some of them throw away some information.
End-to-end learning means that we replace the pipeline with a single learning algorithm so that it goes directly from the input to the desired output to overcome limitations of the traditional approach.
data -> learning algorithm -> output
可在YouTube查看吴恩达的解释：https://youtu.be/ImUoubi_t7s
1 Introduction
To address these challenges, in this study, the ECPE task is transformed into a document-level machine reading comprehension (MRC) task, and a Multi-turn MRC framework with Rethink mechanism (MM-R) is proposed. The multi-turn structure decomposes the ECPE task to model the corresponding relation between emotions and causes and avoid generating the pairing matrix.
machine reading comprehension (MRC)：机器阅读理解(MRC)是自然语言处理的一个子领域，尤其受益于这些进步。它的目标是赋予机器阅读、理解、推理和回答有关非结构化自然语言文本问题的能力，其方式比迄今为止传统的符号匹配启发式方法复杂得多。
In addition, inspired by the human two-stage reading behavior, in which search for possible answer candidates and then verify these candidates (Zheng et al., 2019), the rethink mechanism is proposed to verify candidate emotion-cause pairs further to enhance the flow of information between emotions and causes and improve the overall performance.
(Zheng et al., 2019)，the rethink mechanism：在本论文中更好地理解人类在阅读理解过程中如何阅读和分配注意力，可以帮助提高 MRC 任务的性能。在这篇论文中，我们进行了一项实验室研究来调查人类在阅读理解任务中的阅读行为模式。通过分析被试的眼动数据和答案，提出了一个两阶段的阅读行为模型，第一阶段是寻找可能的答案候选人，第二阶段是通过比较和验证过程产生最终的答案。我们还发现，人的注意分配既受到问题依赖因素(例如，问题的答案和软匹配信号)的影响，也受到问题独立因素(例如，位置、 IDF 和词性标签)的影响。我们从两阶段阅读行为模型中提取特征来预测人类在阅读理解中的注意力信号，这显著提高了 MRC 任务的表现。我们的研究结果可以帮助我们理解人类阅读和信息搜索的过程，并帮助机器更好地满足用户的信息需求。 此论文地址：https://dl.acm.org/doi/abs/10.1145/3331184.3331231
2 Related Work
2.1 Emotion-Cause Pair Extraction
A unified tagging scheme (Chen et al., 2020a) could not be used on a document with multiple emotion clauses of the same emotion types because the tagging scheme was based on emotion types. Another joint tagging scheme (Yuan et al., 2020) based on the distance between the cause and the corresponding triggered emotion.
A unified tagging scheme：ECPE 现有的方法通过首先通过两个二元分类器分别提取情感和原因子句，然后训练另一个二元分类符将它们配对来解决这一任务。然而，提取的不同情绪类型的情绪原因对无法通过简单的二元分类器来区分，这限制了现有方法的适用性。此外，这种两步方法可能会出现级联错误。在本文中，为了解决第一个问题，我们为情绪和原因子句分配了情绪类型标签，以便可以很容易地区分不同情绪类型的情绪-原因对。至于第二个问题，我们将ECPE任务重新表述为一个统一的序列标记任务，它可以以端到端的方式提取多个情绪-原因对。
3.4 Encoding Layer
Clause-level encoder: The attention mechanism and the graph attention network (GAT)(Veliˇckovi ́c et al., 2017) are used to obtain clauselevel hidden representations.
Graph Attention Networks (Veliˇckovi ́c et al., 2017)：我们提出了图形注意力网络（GAT），这是一种基于图形结构数据的新型神经网络架构，利用掩蔽的自我注意力层来解决基于图形卷积或其近似的现有方法的缺点。通过堆叠节点能够关注其邻域特征的层，我们能够（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何类型的代价高昂的矩阵运算（例如反转）或依赖于预先了解图结构。通过这种方式，我们同时解决了基于谱的图神经网络的几个关键挑战，并使我们的模型易于应用于感应和传导问题。
4.3 Baselines
• RANKCP (Wei et al., 2020) uses a graph attention network to model interactions between clauses and selects emotion-cause pairs by the ranking mechanism.
• ECPE-MLL (Ding et al., 2020b) extracts emotion-cause pairs based on sliding window multi-label learning. It is a state-of-the-art model of baselines.
以上就是本论文较难的内容。
