资料来源: Knowledge Graph tutorial (AAAI 2017-part 3)
相关链接:https://kgtutorial.github.io/slides/Part3a_Prob.pdf
问题背景
利用NLP技术、信息抽取技术构建的Extraction Graph,主要存在以下三个问题:
(0) 实体重复。例如:斯嘉丽和郝思嘉其实是同一实体的不同译法。
(1)语义模糊。例如:beatles 代表披头士 or 甲壳虫?
(2)缺乏对隐含关系的深度挖掘。例如:A是C的妈妈,B是C的爸爸,那么隐藏关系:A与B是夫妻。
(3)语义冲突。
为了解决上述问题,需要在Extraction Graph的基础上,进一步进行推理,通过Graph Construction建立起有效的知识图谱。以往AI领域经典的推理方法基于规则和逻辑,但该方法的缺点在于推理的正确与否严重依赖于规则是否正确。为此,当前Graph Construction提出了以下三类方法:概率图模型(Probabilistic Graphic Model)和随机行走、Embedding方法。
1. 概率图模型 Probabilistic Graphic Model
基本思想:Uncertainty in these extractions is captured by assigning these predicates a soft-truth value equal to the confidence value from the extractor.
为每一条Extraction Graph挖掘出的fact附上一定的权重,引入概率,来描述其不确定性。
概率图模型用节点来表示变量,此处为Extraction Graph所挖掘的知识(candidate fact),用边来表示变量之间的关系,此处为推理过程中使用的规则(rules)。对每一个candidate fact都赋予一个概率,来衡量该fact的合理性。在这里,概率主要有以下三种方式获得:
(1)从文本提取器或分类器获取到的统计。
(2)领域知识得到的规则。
(3)从数据中挖掘出的规律与模式。
基于概率图模型的重构优缺点:1. 可得到知识图谱的分布。2.通过规则能够3.可以很方便地融合各种来源的知识。
两类:(1)Markov Logic Network(2)Probabilistic Soft Logic
MLN的开源软件:alchemy
pracmln 源码(python)gitclonehttps://github.com/danielnyga/pracmln.git
中文综述:https://image.hanspub.org/Html/7-2690151_15594.htm
PLS
2. 随机行走 (Path Ranking Algorithm)
http://www.aclweb.org/anthology/P/P16/P16-1124.pdf
解决的问题是:判断任意两个实体间是否存在某种特定的关系。
基本思想:抽取实体之间的路径作为特征,针对每一类的关系建立起关系分类器,对于新的给定的两个实体。
3. Embedding Method
http://cbdio.com/BigData/2016-08/30/content_5224578.htm