智能问答算法原理及实践之路笔记

http://www.docin.com/p-2177206264.html

1、智能问题算法原理

任务机器人
知识图谱机器人
FAQ机器人
闲聊机器人
阅读理解机器人

1.1 FAQ 机器人

query -> 纠错->标准化->文本特征提取->query改写[同义词] ->BM25 算法 -> 计算语句和候选句的相似度s(q,q') , 并排序

【相似度计算:冷启动-深度学习匹配-知识图谱-拒识】
https://blog.csdn.net/qq_42491242/article/details/105286787
https://zhuanlan.zhihu.com/p/84809907

拒识 =即能够知道自己不能回答用户的哪些问 题以及何时应该转向人工客服. 
知识图谱相似度=基于特定知识的语义相似度量,它依赖于分类中的结构化知识:
例如: 深度、路径长度 ) 和统计信息内容( 语料库与语义图谱) 。 
冷启动解决方案

字面匹配 文本相似度(jaccard, cosine)+ xgboost

xgboost 非线性建模,他将K(树的个数)个树的结果进行求和,作为最终的预测值

词向量 word2vec,glove =Global Vectors for Word Representation
句向量 WMD[无监督] ,SIF

SIF 
1、以smooth inverse frequency(简称SIF)为权重,对所有词的word vector加权平均
  例如权重=a/(a + p(w)),最后从中减掉重要关键词,得到sentence embedding。
2、对一些不重要的词语的权重下降,例如but、just等

结论 虽然句子中无加权的平均词嵌入是简单的基准做法,但是Smooth Inverse Frequency是更强有力的选择

https://zhuanlan.zhihu.com/p/37104535

排序训练模型

排序阶段也可以利用排序训练模型,得到知识库内的相似问,构造句对训练数据,训练有监督的模型
判断(query, question)的分数,选择分数最高的问题对应的知识点作为机器人回复

深度匹配模型DSSM

通过搜索引擎里 Query 和 Title 的海量的点击曝光日志,用 DNN 把 Query 和 Title 表达为低纬语义向量,并通过 cosine 距离来计算两个语义向量的距离,最终训练出语义相似度模型。该模型既可以用来预测两个句子的语义相似度,又可以获得某句子的低纬语义向量表达。
https://www.jianshu.com/p/8f19d915b3f8

迁移学习

联合学习
-文本分类:同时进行语句匹配和分类
-文本生成:匹配和seq2seq训练
多语料迁移:
-fine-tune
-adversarial loss
预训练模型
-ELMO , BERT

多轮对话架构

对话管理
query->nlu-DST-DPL -NLG ->response
NLU : 意图识别(规则或分类)槽位提取(NER)
DST-会话状态管理(DQN)
DPL- 会话策略学习,选择下一步
NLG- 根据action 返回回复文本

预判 客服机器人多轮对话的意图预判功能通常依赖于访客的接入渠道、着陆页、访问轨迹等数据,机器人可以通过这些数据来预测客户想要咨询的问题
https://blog.csdn.net/stay_foolish12/article/details/90265394

任务型机器人

https://www.cnblogs.com/qcloud1001/p/9181900.html
任务型机器人指特定条件下提供信息或服务的机器人。通常情况下是为了满足带有明确目的的用户,例如查流量,查话费,订餐,订票,咨询等任务型场景

理解了用户意图之后,通过引导用户完善任务要求,完成任务。

知识图谱机器人

处理流程:场景选择,实体抽取,关系预测

问答式


image.png

引导式

根据知识逐步递进,一步步进行约束定义

image.png

阅读理解机器人

从文章中抽取答案,阅读理解建模。

image.png

闲聊机器人

seq2seq, 上下文建模

image.png

电话机器人

ASR, NLP, TTS,MRCP
智能电话管理
人群管理,话术管理,电话任务管理,知识库管理,算法模型管理
外呼统计
任务监控,通话监控,意向度筛选,通话详情,统计分析

image.png

智能应答
image.png

智能问答系统体系结构

功能组件:语义解析,语义匹配,会话意图识别,答案生成,情感分析
深度迁移学习,知识图谱引擎
问答标注平台,模型训练平台,分布式爬虫,hadoop 集群


image.png

知识库管理界面

问答管理,相似问题,智能学习


image.png

访客界面

回答,引导转人工


image.png

客服界面

image.png

挑战

1- 单轮: 深度语义匹配 迁移学习 知识图谱
2- 多轮 对话管理-槽位提取-端到端学习-强化学习
3- 阅读理解机器人-开放域闲聊机器人

image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342