1-Answer 系列-简介

如上一篇结尾所说,技术学习应该先知整体再钻细节,亦可谓先见森林再见树木

这一篇就将抛开技术实现细节,从整体上讲解 Answer 实现问答的原理。

原理简析

用户提出一个自然语言描述的问句时,例如“美人鱼的导演是谁?”,那么系统应该能正确回答该问题,该出答案-“周星驰”。

那么在这个过程中,到底发生了什么,系统经历了哪些步骤才能实现上述效果呢?现就以“美人鱼的导演是谁?”为例句,将其主要处理过程简单描述如下:

  1. 分词
    对“美人鱼的导演是谁?”进行分词,分词结果为“美人鱼”、“的”、“导演”、“是”、“谁”、“?”
  2. 依存句法分析
    依存句法是关于自然语言在语法层面上的一种解析,它将指出一个句子中各个词语之间的依存关系。
    如“我爱编程”中,“我”和“爱”之间就存在主谓关系(SBV),其中“我”为主体,“爱”为谓语。而“爱”和“编程”之间存在动宾关系(VOB),其中“爱”为谓语动词,“编程”为宾语客体。
    再如例句“美人鱼的导演是谁?”中就存在”美人鱼“和”导演“之间的修饰关系(ATT),其中“美人鱼”修饰“导演”。
  3. 构建查询语义图
    根据第 2 步的依存句法分析结果,可以按照查询语义图算法构建查询语义图。查询语义图算法来源于文献《面向知识库的中文自然语言问句的语义理解》-许坤-北京大学学报。具体算法细节将在后续文章中详细讲解。这里只需要知道算法最后会构建一张图来表达用户的语义,例句“美人鱼的导演是谁?”的查询语义图如下图所示:
例句语义图示意图.png
  1. 构造查询语句
    根据第 3 步生成的语义图构建 SPARQL 查询语句。SPARQL 是一种本体库(一种知识库,或高大上一点称之为知识图谱)的查询语言,构造 SPARQL 查询语句如下:
SELECT ?b  WHERE {
  mymo:美人鱼  mymo:有导演  ?a.
  ?a  mymo:是  ?b.
}
  1. Jena 执行查询语句
    Jena 是一种能提供对本体库的数据进行查询、添加、删除、更新等操作的工具,利用 Jena 丰富的 API 能够执行第 4 步生成的 SPARQL 语句从而查询本体库,并将查询结果“周星驰”作为问句答案返回。关于 Jena 后续会进一步介绍。

  2. 一点补充
    第 4 步所提到的本体库就是存储着各种知识的知识库,而本体库的构建则对应着 Answer 系统的本体构建模块。当前该模块的原理利用 WebMagic 爬取百度百科,并通过定义规则来进行分类、实体关联等,也就是目前完全是基于规则来构建本体库。
    这种基于规则的方式应该是所有本体构建方法中”最土“的了,但毕竟当前系统也只是个 Demo,后续会改进本体构建模块,实现真正的本体半自动构建。

原理补充

以上是对处理过程的一种简化,其中省略了很多细节和难点,没有涉及到语义理解中的几个重要内容,如同名实体、实体别名和谓语消歧等。而这几个正是系统中必须要处理解决的重要问题。

  • 问题一:同名实体
    所谓的同名实体指的是具有相同名称的不同实体,也就是同一个名称的背后可以代表多个不同的实体
    同名实体现象在现实中普遍存在,例如“美人鱼”就可以代表多个不同实体:可以是“周星驰2016年执导的一部电影”,也可以是“周杰伦2014年创作的一首歌曲”,还可以是”一种传说中的人鱼生物“。
    那么在问句中,我们应该要识别其中的”美人鱼“到底指的是哪一个实体。
    同名实体现象如下图所示:
同名实体现象示意图.png
  • 问题二:实体别名
    和同名实体相对的一个问题就是实体别名。所谓实体别名指的是同一个实体可以有多个不同名称
    实体别名同样在现实中普遍存在,例如“周星驰”有”星爷“这个别名,甚至有时候“周星星”也可以用来指代“周星驰”。
    用户在问“周星驰出演过哪些电影?”的时候,如果系统能正确回答,那么用户在问“星爷出演过哪些电影?”的时候,系统也应该要正确回答,并且能够识别出其中的“星爷”其实是指代了“周星驰”。
    实体别名现象如下图所示:
实体别名现象示意图.png
  • 问题三:谓语同义词
    自然语言中的谓语,也就是我们经常说的动词广泛存在着同义词的现象。例如”出演“和”参演“是一组同义词。那么用户在问“周星驰出演过哪些电影?”的时候,如果系统能够正确回答,那么用户在问“周星驰参演过哪些电影?”的时候,系统也应该要正确回答。

Answer 系统架构

在简述了系统对自然语言问句的处理过程之后,我们对 Answer 系统的问答原理有了一定的基本认识。
现在就可以从系统实现和程序的角度来看系统的原理,整体的系统框架如下图所示:

系统框架图.png

其中语义理解模块主要完成第 1 步到第 3 步,本体查询模块主要完成第 4 步到第 5 步,爬虫模块和本体自动模块完成本体构建。
另外框架图中的实体词典在整个系统中十分重要,具有多种功能,将会在后续文章中介绍。

下一篇

之后将分别介绍系统中的各个模块的原理和实现,下一篇将介绍爬虫模块和本体自动构建模块。

汪.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容

  • 本体、知识库、知识图谱、知识图谱识别之间的关系? 本体:领域术语集合。 知识库:知识集合。 知识图谱:图状具有关联...
    方弟阅读 28,404评论 6 49
  • 前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。这篇文章,甚至之后...
    我偏笑_NSNirvana阅读 13,900评论 2 64
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,647评论 18 139
  • 知识图谱(Knowledge Graph)是当前学术界和企业界的研究热点。中文知识图谱的构建对中文信息处理和中文信...
    苟雨阅读 7,326评论 0 11
  • 关于商业模式的理解 无非就是发现痛点,找到解决方案,形成产品或者服务,建立商业模式。 比如说我要开个早餐店,从每天...
    先锋李军阅读 541评论 2 8