事理图谱——工业实践总结

从工业应用角度解析事理图谱

知乎链接:https://zhuanlan.zhihu.com/p/53699796

近期看了很多关于事理图谱的文章,大都是从学术方面进行的论述,正好也一直在做这方面的工作,想从工业界应用的角度总结一下,整理出来也欢迎大家一起交流。

我将顺着事理图谱的概念、构建思路及应用场景这个思路进行阐述,尤其会着重描述实践过程中遇到的各种问题及个人做法。

1. 事理图谱的概念

事理图谱,顾名思义,是以事件为节点,事件间的关系为边的图谱网络,与知识图谱中实体及关系大多是稳定的不同,事理图谱中关系大多是不确定的,以一定的概率进行转移。

近些年知识图谱的火热也带动起了事理图谱的研究,知识图谱的技术及应用相对已经开始成熟,但只是基于实体知识库,并不足以描述事件之间的演化规律,而事理逻辑对现实世界的行为推演尤其重要。

2.事理图谱的构建思路

事理图谱的构建与知识图谱的整体思想基本一致,简单来讲就是从海量信息里抽取节点和关系,整体过程如下图:


图中框出来的部分就是整个事理图谱构建的核心环节,包括关系的识别及抽取和事件识别及抽象,与知识图谱构建的最大的一个区别我认为是:知识图谱领域将实体和关系联合抽取的模型效果尚可,但在事理图谱上联合抽取的效果可能并不太好,先抽取关系句子,再进一步做事件识别和抽象更加可行。


3.实践中遇到的问题

这部分主要记录下遇到过的比较大的问题及自己的一些想法,这些问题其实也是目前这块工作比较困扰大家的一些点,整理出来,欢迎大家交流。

(1)语料

在工业界做算法都绕不过的一个大问题,往往数据的好坏决定了模型效果的上限,但不幸这块工作涉及到的中文开源训练集基本上没有,假如自己内部没有积累下来的训练语料,往往就要依靠爬虫加规则,数据量庞大,噪音也巨多,开放领域和封闭领域都可以搜集,多方面都尝试。

(2)事件抽象

对于封闭领域可以根据专家经验预定义事件然后进行事件的识别,但对于完全的开放领域,就要涉及到文本的抽象及表征了。

事件识别及抽取的相关研究论文可以看我知乎的一篇文章:

https://zhuanlan.zhihu.com/p/32488490

文本抽象可以切分到词级别的抽象,例如英文可通过WordNet、VerbNet这类词典获得词的上位词或概念词,中文类似的词典有大词林、hownet等。

(3)关系识别及抽取

事件之间的关系并未有语料可以训练,大多需要自己根据规则不断迭代出训练集,后续关系识别可以直接上模型,但抽取这块还不太精确。

4.   应用场景

事理图谱的应用场景目前大多是在问答和推理上,别的文章都详细谈过,便不再赘述了。不过个人有一些感触:知识图谱在搜索情景下已在工业领域得到了广泛应用,如Google搜索、百度搜索等,这得益与知识库里存储的是事实类的知识,但事理图谱中事件是以一定的概率关联的,无法冠以百分百的置信度,所以更适合一些后续意图的识别或辅助性的推理。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352

推荐阅读更多精彩内容