《Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders》阅读笔记

2018,论文链接:https://arxiv.org/pdf/1805.04843.pdf

一、动机

      学会在大规模开放领域的对话系统中提问是很重要的,然后这个任务尚未被探索。因此,本文提出了一种在问答系统中提问的方法,旨在探索新的相关信息使得人机对话继续下去。

二、方法

任务的特殊性:

1、不仅有多种提问模式(疑问词不同/yes or no问题),还要包含多种多样的相关主题。2、需要在给定文本中的多个主题之间切换自如。

好问题的组成:疑问词(暗示提问模式)+主题词(切换主题的关键信息)+普通词(在句法和语法上起作用,使问题更流畅)

本文共收集了20种疑问词,并假定问题中的动词和名词(感觉应该是动名词)是主题词,其他词是普通词。

因此,本文将问题中的单词分成上述三种类型。在encoder-decoder的框架上设计了两个解码器—软类型解码器(STD)和硬类型解码器(HTD),分别以隐含和直观的方式处理单词类型。

输入:文本序列.     编码器:GRU       解码器:STD+HTD

2.1 STD

目的:生成更多有意义的问题

假定每个单词都有一个隐含类型(疑问/主题/普通)。STD首先估计给定文本中每个单词的类型概率分布,然后基于词汇表计算特定类型下的生成该单词的概率分布。最终生成一个单词的概率是特定类型下概率分布的总和,系数是相应的类型概率。

2.2 HTD

不同于STD,HTD先算出给定文本中每个单词的类型概率分布,取概率最高的类型作为该单词类型计算在该类型下的生成概率分布。

但是这么做会产生两个问题:1)如果第一次选择的类型是错误的,就会导致最终问题的语法错误。2)argmax是离散的,不可微的,训练时不可以反向传播。

因此作者用了Gumbel-Softmax来近似argmax的操作。

三、实验

数据集:从微博上收集了900万个post-response对。进行数据预处理,删除通用问题(适合各种答案类型的问题),最终剩余491000个post-response对,组成数据集。

人工评估:Appropriateness:问题在逻辑和内容上是否合理;

                  Richness:是否包含和给定文本相关的主题词;

                  Willingness to respond:用户是否愿意回答该问题使得对话继续下去。 

四、总结

这篇文章做的是对话系统里面的问题生成,但是它其实只是输入了一句话,然后生成一个问题使得这个对话继续下去。并没有输入对话历史,因此它生成问题的空间比较大,不需要与对话历史保持连贯,只需要与给定的句子有关系就好了。

因此,它通过在给定的句子中找寻主题词,然后对其进行提问,确保与其关联。并且提出了两种编码器,通过确定单词的类型继而生成问题。这种思路可以借鉴,后续应该考虑到引入对话历史,使得生成完整的多轮对话,以证明在对话系统中提问的鲁棒性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,099评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,828评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,540评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,848评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,971评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,132评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,193评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,934评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,376评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,687评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,846评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,537评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,175评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,887评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,134评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,674评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,741评论 2 351

推荐阅读更多精彩内容

  • 前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。这篇文章,甚至之后...
    我偏笑_NSNirvana阅读 13,895评论 2 64
  • 许多人工智能应用离不开高质量的知识库,例如QA系统,对话机器人,推荐系统等等。 然而, 高质量知识库的构建与维护并...
    四碗饭儿阅读 956评论 0 0
  • 从昨天晚上下班到现在忙的够呛,比上班都累,又当爹又当妈的。 好累,想找个遮风挡雨的人,陪我长大,守护我的单纯,一起开心。
    姑娘我姓雷阅读 632评论 1 0
  • 头两天,我和朋友们一起去九顶山玩。我们急急忙忙的,早晨5:30就坐上的车,五个小时后才下车。 下了车,村长...
    毛毛虫爬呀爬阅读 367评论 0 0
  • 学别人的长处,补自己的不足。想必这句话已是老掉了牙了,但还是很有用。 节前有幸跟随外出学习,开了眼界,很有收获,但...
    我悦我写阅读 218评论 0 0