「自然语言处理(NLP)」CQG增强动态推理网络(含源码)

来源:AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-16

引言

    两篇文章为大家介绍,第一篇针对会话问题产生,提出一种新的增强动态推理网络,该网络基于一般的编解码器动态的集成了一个推理过程,使得该网络可以更好地理解文章中提出的问题和接下来要问的问题。第二篇主要针对当前语义解释器直接将输入句子转换成逻辑形式的问题,提出使用生产验证框架来决此问题的方法,并且该方法性能比最先进的高出7.93%。

First Blood

TILE: Reinforced Dynamic Reasoning for Conversational Question Generation
Contributor : 浙江大学 && 俄亥俄州立大学
Paper: https://arxiv.org/pdf/1907.12667v1.pdf
Code: https://github.com/ZJULearning/ReDR

文章摘要

    会话问题产生(CQG)是开发智能代理的关键,它可以驱动问答式对话或测试用户对给定段落的理解。为此,我们提出了一种新的增强动态推理(ReDR)网络,该网络基于一般的编解码器框架,并以动态的方式集成了一个推理过程,以更好地理解文章中提出的问题和接下来要问的问题。为了鼓励产生有意义的问题,我们利用一个流行的问题回答(QA)模型来提供反馈,并使用强化学习机制对问题生成器进行微调。

本文三大看点

    1、提出了一种新的会话问题生成(CQG)任务,该任务对于开发智能代理来驱动问答式会话至关重要,并可能为未来相关研究提供有价值的数据集。
    2、提出了一个新的有效的CQG框架,它配备了一个动态推理组件来生成会话问题,并通过强化学习机制进行了进一步的微调。
    3、使用最新的CoQA数据集验证我们方法的有效性。此外,我们还使用它来创建多轮的QA会话,以显示其广泛的适用性。

网络模型介绍

    增强动态推理(ReDR)网络架构。


    由于一个完成的段落太长,很难专注于在最相关信息下生成一个问题,我们的方法:是首先从文章中选择一个文本跨度作为每个会话转折点,然后在最终解码下一个问题之前,动态的为编码会话历史以及选择的基本理论建模。其中推理机制迭代地读取会话历史,在每次迭代中,它的输出通过一个软决策者(pd)作为新的编码表示动态地与之前的编码表示相结合,并将其反馈到下一个迭代中。最后,通过由QA模型预测的答案的质量所定义的奖励对模型进行微调。

试验结果

    CoQA数据集上各种模型的性能比较

    人工评价结果
    CoQA数据集中生成问题和人工注释问题统计对比
    基于CoQA数据集,模型生成问题和人工问题生成样例

Double Kill

TILE: A Generate-Validate Approach to Answering Questions about Qualitative
Relationships
Contributor : Arizona State University(亚利桑那州立大学)
Paper: https://arxiv.org/pdf/1908.03645v1.pdf
Code: None

文章摘要

    最近提出了一个涉及定性关系的问题回答数据集,并探索了几种回答此类问题的方法,其核心依赖语义解释器将自然语言输入转换为合适逻辑形式。现有语义解释器的一个问题是,它们试图直接将输入的句子转换成逻辑形式。由于输出语言随应用程序的不同而不同,它迫使语义解析器从头开始学习几乎所有内容。在本文中,提出应用生成验证框架,生成逻辑形式的自然语言描述,并验证输入文本是否遵循自然语言描述,我们得到了一个更好的学习范围,我们的方法性能比最先进高出7.93%。

本文两大看点

    1、指出了如何应用生成验证框架来解决Quarel的定性单词问题;
    2、我们通过实验表明,现有的自然语言推理数据集,即snli和像bert这样的预先训练的模型,可以显著提高Quarel的性能,而不是直接生成逻辑形式,语义分析是通过生成验证来完成的。 本文方法的精度为76.63%,比Quasp+模型高7.93%,比Quasp模型高20.53%。

方法介绍

    1、生成: 所有可能的基于QVAL谓词的自然语言描述集,其中一些是给定的事实、ClaimA和ClaimB。
    2、验证:步骤2的目标是准确地确定H(T,Q,A_1,A_2)中的哪个陈述是ClaimA,哪个陈述属于ClaimB,哪个陈述代表给定的事实。 为此,系统使用两个不同的文本包含函数对H(T,Q,A_1,A_2)中的语句进行评分。
    3、使用步骤2中计算的分数计算最终答案。。

实验结果

    在QUAREL训练集和测试集上选择不同f^{given}_{TE}f^{claim}_{TE}得到的准确率对比。


    将我们的最佳模型与现有的Quarel解析器进行比较 。

ACED

Attention

更多自然语言处理相关知识,还请关注AINLPer公众号,极品干货即刻送达。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容