论文阅读—Emotion-Cause Pair Extraction as Question Answering

论文链接:https://export.arxiv.org/pdf/2301.01982v2.pdf

背景与挑战

        情绪原因提取(ECE)是在给定情绪注释的情况下检测情绪背后的原因的任务(Lee et al.,2010;Gui et al.,2016),见图1。文本被分为从句,任务是给定包含情感的从句,检测包含原因的从句。然而,由于ECE任务在测试时需要情绪注释(emotion annotations),因此ECE的适用性有限,如图1(top)。

图1(底部)显示了ECPE任务的一个示例,抽取出所有的情绪原因对。

图 1 

        输入是一个包含六个子句的文档。从句c4和c5包含情感,情感表达为“happy”和“worried”。情绪c4有两个原因c3和c2,情绪c5有一个原因c6,因此预期输出是{(c4,c2),(c4、c3),(c5,c6)}。

以前的研究通过使用序列标记、子句级分类或重复同步来处理ECPE任务。这些方法取得了有希望的结果,但情感和原因从句之间的相互作用的使用仍然是一个悬而未决的问题。

基于这一观察结果,我们通过使用跨度提取(span extraction)引入了ECPE的范式转变(paradigm shift )(Sun et al.,2022)[1]。

首先,来自情绪从句的信息可以用来推断原因从句。

第二,情绪从句和原因从句具有隐含的相互作用。我们模型的设计是基于这两个假设的。



[1]. paradigm shift : 此篇论文涉及NLP相关任务原有方法到现在方法的变化。如下图

桑基图(Sankey diagram)描绘了自然语言处理任务中范式转换和统一的趋势

论文地址:https://readpaper.com/pdf-annotate/note?pdfId=4667106068686454785&noteId=1737165403454761216



相关研究

ECE and ECPE tasks

(Ding et al.,2020):介绍了ECPE-ML,使用滑动窗口来实现多标签学习方案。ECPEMLL通过使用迭代同步多任务学习来提取情绪和原因。

(Chen et al.,2022):递归同步网络(RSN),它明确地对不同任务之间的交互进行建模。

(Wei et al.,2020):RankCP,这是一个基于迁移的框架,通过将ECPE问题转化为有向图构造,可以基于标记的边从中同时提取情绪和相应的原因。

PairGCN模型(Chen et al.,2020)使用图卷积网络对局部邻域候选对之间的三种类型的依赖关系进行建模,并有助于提取成对级别的上下文信息。

We leave span-based ECSP evaluation as future work.

Paradigm shift in natural language processing

通用建模框架或一系列方法:POS、NER、seq2seq;

随着预训练语言模型的出现,重新制定任务并改变输入输出格式成为趋势。

Span-based extractive question answering

本论文采用 span-based extractive QA 相关的方式。图2显示了BERT是如何应用于提取QA任务的。

图 2

实验过程

问题描述

给定一个包含n个子句d=(c1,c2,..,cn)的文档,ECPE的目标是检测所有潜在的情绪原因对P={..(ce,cc),..},,我们将ECPE任务制定为一个QA问题。

Independent Emotion, Cause Extraction

Indep QA如图3所示。Indep-QA获得一个固定的问题(针对情绪或原因),然后独立地提取相应的情绪或原因子句。

图 3

Question formulation

使用两个简短的问题“emotion”和“cause”作为一个隐含的指示器,诸如“What is the emotion?”和“What is the cause?”

Learning and prediction

给定一个文档和一个问题(“情绪”或“原因”),我们将d的所有子句和问题连接起来,形成一个单独的序列C。

该序列被馈送到预训练的语言模型(PLM),以获得其隐藏层 tokens,这些令牌随后被馈送到 feed-forward layer,然后是softmax层。

每个candidate span 都作为开始/结束概率的乘积进行评分,取最大得分值。

Mapping predicted answer span to clauses

预测的答案跨度可能与一个或多个从句重叠。如何处理:返回与预测跨度重叠最多的子句。

EC pair prediction

配对情绪-原因,如图3所示,(c2,c4)是预测的情绪原因对。

Guided Emotion-Cause Pair Extraction

为了更好地对这种关系进行建模,我们在图4中引入了Guided-QA。该模型接收一个情感问题并预测相应的情感子句。然后将预测的情感从句用作原因提取的问句。与Indep-QA相比,引导式QA考虑了情感对原因预测的内隐关系。

图 4

EC pair extraction

预测的情绪子句可能是真实的,也可能不是真实的,但平均而言,它包含的QA模型信息比一般问题(即“情绪”)多得多。故使用真实情感子句作为问题。

通过交换方式,模型可以首先检测原因从句,并将嘈杂的原因作为问题来预测情绪

评估指标

precision, recall and F1 score

结果对比

Guided-QA: Emotion-first vs. Cause-first

我们首先比较了引导式问答方法的两种变体:情感优先和原因优先。表2显示,这两个变量在测试数据集上的性能几乎相同,但在10-Split ECPE上基于BERT的结果除外。

表 2

Guided-QA vs. Indep-QA        Guided-QA vs. strong baselines

表 4

结论以及主要贡献

•将ECPE任务公式化为一个QA问题,并提出了一个引导QA模型,以隐含地捕捉情绪和原因子句之间的关系,其中预测的情绪被用作原因预测的引导问题。该模型可以通过一个简单但有效的架构来捕捉情绪和原因之间的隐含交互。

•在标准ECPE语料库上评估了我们的模型取得了理想的结果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容