Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media
一篇采用图卷机神经网络的新闻政治观点抽取的文章,作者强调了社会信息情景化的重要性,重点关注信息在社交网络中是如何传递的,从而为文本提供更好的表示方式。
作者构造了一个新闻关系图,以人物,新闻为节点,以之前的的关系生成连边。节点有三类,政治观点表达者、观点分享者(推特用户)、新闻。连边为两种,分享关系,follow关系(观点表达者与观点分享者之间的关系连边)。
Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts
南京理工大学夏睿老师组2019年ACL获奖论文。论文提出了一个在情感分析领域的新任务:情感-原因对的抽取任务。传统的情感,原因抽取(ECE)需要先抽取sentence中的情感再抽取原因句。而文章中新提出的任务不需要先进行情感的抽取。
文章提出一个两步走的框架,第一步将情感原因对的抽取分为两个子任务,分别为关系抽取与原因句抽取(多任务学习)。第二步,情感原因对的配对与过滤。
论文的主要贡献
- 提出了一个新任务,解决了传统ECE任务中依赖于先知的情感的问题
- 提出了一个两步走的框架解决了ECPE问题
- 基于benchmark ECE的语料库,构建了一个适用于ECPE任务的语料库
算法框架具体内容
Step One Individual Emotion and Cause Extraction:采用两种多任务学习方法抽取情感词与原因句
Independent Multi-task Learning
Interactive Multi-task Learning
Step Two Emotion-Cause Pairing and Filtering
在第一步中获取了情感集E,与原因句C 对E与C做笛卡尔积得到P(关系对),设计特征工程表示P。特征向量由三个维度构成:情感从句的representations,原因从句的representations,两个从句中的距离。训练LR模型进行二分类,判断情感与原因是否存在关系,若结果为0过滤该关系对。
11月份开始看关系抽取任务,了解15年后深度学习在关系任务的各种应用
A Survey of Deep Learning Methods for Relation Extraction
关系抽取属于信息抽取中的一个子任务,除了关系抽取信息还包括实体抽取、事件抽取等等。该篇综述主要专注于深度学习算法在关系抽取任务上的应用。传统方法主要基于特征工程以及设计好的kernel,并不能很好的抽取完整
的特征信息。
关系抽取的方法主要分为有监督学习、半监督学习、远程监督学习。有监督的数据集有:ACE 2005 dataset、ACE 2005 dataset。远程监督的数据集有:NYT。远程监督是基于一个假设,当有标签数据中表明两个实体具有某种关系,则假设整个数据集中这两个实体都存在此种关系。远程监督能够大量提高样本数量,但是存在大量的噪声数据。
近年来有监督的关系抽取任务算法有:Simple CNN model (Liu et al., 2013)、CNN model with max-pooling (Zeng et al., 2014)、CNN with multi-sized window kernels (Nguyen and Grishman, 2015)。
在远程监督数据集上:Piecewise Convolutional Neural Networks (Zeng et al., 2015)、Selective Attention over Instances (Lin et al., 2016)、Multi-instance Multi-label CNNs (Jiang et al., 2016)。
该篇文章介绍了关系抽取任务的内容与意义,总结了17年以前关系抽取任务上的算法并比较了各个算法在公开数据集上的性能。
Attention Is All You Need
该篇论文介绍了仅由attention机制构成的模型Transformer,模型由enconder与decoder构成,每一层的enconder由self-attention与feed-forward构成,decoder的每一层由self-attention,enconder-decoder attention与feed-forward构成,整体框架图如图所示。
Deep Residual Learning for Weakly-Supervised Relation Extraction
该篇论文采用深度残差网络来完成关系抽取任务,对比了CNN等网络在NYT-Freebase数据集上的效果。主要创新点为在卷机层后引入残差连接块,由低层直接向高层连接在一定程度上解决了深度网络中梯度消失的问题。
论文的主要贡献
- 第一次采用残差学习将深度卷机神经网络应用于弱监督的关系抽取任务;
- 提出的model在该任务取得最优性能;
- 提出的带有快捷反馈方法的统一映射可以轻松地应用于各种CNN的关系提取。
Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions
该篇论文通过引入句子级别的注意力机制和实体描述实现远程监督的关系抽取任务。引入sentence-level attention机制来筛选训练样本,减少噪音。引入实体的背景知识(来自Freebase和Wikipedia),不仅有助于抽取实体,也可以增强实体的表示(entity representation)网络结构上采用了经典的Piecewise CNN结构。
论文主要贡献
- 基于注意力机制抽取有效的关系句(句子抽取);
- 增加实体描述,以提供用于预测关系和改善实体表示的背景知识;
- 我们进行实验,对广泛使用的数据集获得最优的性能。
以上论文为关系抽取任务上经典的算法模型,2017年以后GCN、Bi-LSTM、attention机制、稠密连接等多种改进算法应用于该任务并且取得了更高的性能