论文整理(19年11-12月份)

Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media

一篇采用图卷机神经网络的新闻政治观点抽取的文章,作者强调了社会信息情景化的重要性,重点关注信息在社交网络中是如何传递的,从而为文本提供更好的表示方式。

作者构造了一个新闻关系图,以人物,新闻为节点,以之前的的关系生成连边。节点有三类,政治观点表达者、观点分享者(推特用户)、新闻。连边为两种,分享关系,follow关系(观点表达者与观点分享者之间的关系连边)。

1.png

Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts

南京理工大学夏睿老师组2019年ACL获奖论文。论文提出了一个在情感分析领域的新任务:情感-原因对的抽取任务。传统的情感,原因抽取(ECE)需要先抽取sentence中的情感再抽取原因句。而文章中新提出的任务不需要先进行情感的抽取。

文章提出一个两步走的框架,第一步将情感原因对的抽取分为两个子任务,分别为关系抽取与原因句抽取(多任务学习)。第二步,情感原因对的配对与过滤。

论文的主要贡献

  1. 提出了一个新任务,解决了传统ECE任务中依赖于先知的情感的问题
  2. 提出了一个两步走的框架解决了ECPE问题
  3. 基于benchmark ECE的语料库,构建了一个适用于ECPE任务的语料库

算法框架具体内容

Step One Individual Emotion and Cause Extraction:采用两种多任务学习方法抽取情感词与原因句

Independent Multi-task Learning

2.png

Interactive Multi-task Learning

3.png

Step Two Emotion-Cause Pairing and Filtering

在第一步中获取了情感集E,与原因句C 对E与C做笛卡尔积得到P(关系对),设计特征工程表示P。特征向量由三个维度构成:情感从句的representations,原因从句的representations,两个从句中的距离。训练LR模型进行二分类,判断情感与原因是否存在关系,若结果为0过滤该关系对。

11月份开始看关系抽取任务,了解15年后深度学习在关系任务的各种应用

A Survey of Deep Learning Methods for Relation Extraction

关系抽取属于信息抽取中的一个子任务,除了关系抽取信息还包括实体抽取、事件抽取等等。该篇综述主要专注于深度学习算法在关系抽取任务上的应用。传统方法主要基于特征工程以及设计好的kernel,并不能很好的抽取完整
的特征信息。

关系抽取的方法主要分为有监督学习、半监督学习、远程监督学习。有监督的数据集有:ACE 2005 dataset、ACE 2005 dataset。远程监督的数据集有:NYT。远程监督是基于一个假设,当有标签数据中表明两个实体具有某种关系,则假设整个数据集中这两个实体都存在此种关系。远程监督能够大量提高样本数量,但是存在大量的噪声数据。

近年来有监督的关系抽取任务算法有:Simple CNN model (Liu et al., 2013)、CNN model with max-pooling (Zeng et al., 2014)、CNN with multi-sized window kernels (Nguyen and Grishman, 2015)。

在远程监督数据集上:Piecewise Convolutional Neural Networks (Zeng et al., 2015)、Selective Attention over Instances (Lin et al., 2016)、Multi-instance Multi-label CNNs (Jiang et al., 2016)。

该篇文章介绍了关系抽取任务的内容与意义,总结了17年以前关系抽取任务上的算法并比较了各个算法在公开数据集上的性能。

Attention Is All You Need

该篇论文介绍了仅由attention机制构成的模型Transformer,模型由enconder与decoder构成,每一层的enconder由self-attention与feed-forward构成,decoder的每一层由self-attention,enconder-decoder attention与feed-forward构成,整体框架图如图所示。

4.png

Deep Residual Learning for Weakly-Supervised Relation Extraction

该篇论文采用深度残差网络来完成关系抽取任务,对比了CNN等网络在NYT-Freebase数据集上的效果。主要创新点为在卷机层后引入残差连接块,由低层直接向高层连接在一定程度上解决了深度网络中梯度消失的问题。

论文的主要贡献

  1. 第一次采用残差学习将深度卷机神经网络应用于弱监督的关系抽取任务;
  2. 提出的model在该任务取得最优性能;
  3. 提出的带有快捷反馈方法的统一映射可以轻松地应用于各种CNN的关系提取。
5.png

Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions

该篇论文通过引入句子级别的注意力机制和实体描述实现远程监督的关系抽取任务。引入sentence-level attention机制来筛选训练样本,减少噪音。引入实体的背景知识(来自Freebase和Wikipedia),不仅有助于抽取实体,也可以增强实体的表示(entity representation)网络结构上采用了经典的Piecewise CNN结构。

论文主要贡献

  1. 基于注意力机制抽取有效的关系句(句子抽取);
  2. 增加实体描述,以提供用于预测关系和改善实体表示的背景知识;
  3. 我们进行实验,对广泛使用的数据集获得最优的性能。
6.png

以上论文为关系抽取任务上经典的算法模型,2017年以后GCN、Bi-LSTM、attention机制、稠密连接等多种改进算法应用于该任务并且取得了更高的性能

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,919评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,567评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,316评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,294评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,318评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,245评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,120评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,964评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,376评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,592评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,764评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,460评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,070评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,697评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,846评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,819评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,665评论 2 354

推荐阅读更多精彩内容