笔记 | 知识图谱原理、流程与应用

本文为纯笔记梳理,旨在入门学习知识图谱,基于原理与流程,帮助理解知识图谱商业化落地的价值与可能性。

梳理内容包括:

1. 知识图谱(Knowledge Graph,KG)是什么

2. 如何构建知识图谱:一个流程

3. 知识图谱的重要性:从孤立数据、单点知识,到结构化知识体系和认知模型

4. 知识图谱的应用场景

5. 知识图谱在教育的落地:一些实例

1. 知识图谱是什么?

知识图谱最先在2012年由Google提出,用以描述其搜索引擎从不同来源获得的信息结果。这些信息的结果本质是一个多关系图(Multi-relational Graph),由不同的信息(节点)+关系(边)构成。


来源:机器之心

2. 知识图谱的构建流程

在构建知识图谱之前,要先确定是否需要知识图谱来支持的业务问题,否则传统的数据库也可以完成分析。

知识图谱的基础构建流程,分为5个主要步骤:

(1) 定义具体的业务问题 ( 2) 数据的收集 & 预处理  (3) 知识图谱的设计 ( 4) 把数据存入知识图谱  (5)上层应用的开发,以及系统的评估。

其中,在(3)知识图谱设计,知识图谱包含节点(实体)、边(关系)和属性,在设计时,构建者需要处理:

    - 需要什么实体、关系和属性

    - 哪些属性可以作为实体,哪些实体可以作为属性

    - 哪些信息不需要放到知识图谱

处理是可以参考的原则:业务原则、分析原则、效率原则、冗余原则。(在此处不会细展开相关内容,本文暂时的目的在于对知识图谱入门并形成一个基础的落地框架认识,更细的内容在后续学习再展开)

(4)数据存入知识图谱,是基于设计模型做出的限定/范围,再将对应数据放入知识图谱,简单理解就是使框架获得数据填充。

(5)上层应用开发

    - 基于规则的场景:方法论包括不一致性验证、基于规则提取特征、基于模式的判断。(具体有待进一步学习展开)

    - 基于概率的场景:基于概率的方法包括社区挖掘、标签传播、聚类等技术。

    - 基于动态网络的分析

值得注意的是,知识图谱由场景驱动,有场景才有生产/构建数据的可能,然后将数据加入知识图谱框架中。所以知识图谱的构建前提是具备应用场景。具备场景、盘活数据后,算法对数据/实体/节点与关系进行处理,进而加工数据。

3. 知识图谱的重要性是什么?

从数据到知识体系、认知能力构建

文首就提及知识图谱由Google2012年提出,Google基于知识图谱优化搜索结果。2013年,Google收购自然语言处理技术公司Wavii,将后者技术与Google Knowledge Graph整合。2015年谷歌推出医疗版知识图谱。现在谷歌语音搜索、Google Assistant、Google Lens、Google Home诸多软硬件产品均已接入谷歌知识图谱。

2017年百度曾表示:“知识图谱(包括需求图谱、用户画像等等),这些东西都是百度整个人工智能当中非常基础的构件,也是我们相对于其他任何一家公司的优势所在。”

“构建知识图谱这个过程的本质,就是让机器形成认知能力,理解这个世界。事实上,现在机器的感知能力已经越来越接近于人类了,语音识别准确率达到97%甚至更高,图像识别某些领域如人脸识别,比人类个体更加准确和迅速。所以,未来人工智能的重点进步方向将是认知层,机器理解这个世界,才能更好地与世界交互,为人类服务。”

大公司在尝试将数据转化成具备结构/规则可连接的多关系图谱,通俗解释其意义在于:让机器获得从点到面到全网立体的知识网络结构,其可以实现的基本结果——可以想象下我们个人学习一个个知识点、概念之后,将点连成线、面乃至更丰满的知识体系的效用。

假设在教育领域,不难想象,单个知识点或者单条学习路径,通过构建知识图谱,使得知识点之间具备多关系,机器通过知识图谱无论在上游学习路径的构建、下游对学习者学习水平测评都有可识别、可判断的依据(规则),进而形成立体的、个性化的学习体系推荐。这方面和我上一篇笔记中,对自适应学习在内容体系、测评、练习中即有体现。

4. 知识图谱到底有哪些应用场景?

知识图谱概念起源于Google的搜索相关,其对应应用在于搜索。基于其底层原理及(业务定义-数据预处理-图谱设计/定义关系-存入数据-应用层开发)流程来看,不难判断,只有存在数据与可被定义关系的场景都可以应用到知识图谱——可以说是甚为广泛,比如教育、金融、医疗、信息推荐以及传统工业(一旦数据线上化,将会有非常多可以进一步探索的)等等。

5. 知识图谱在教育的落地

在教育领域,知识图谱构建后,很多时候与上一文章提到的自适应学习是相关联的。两者的关系,我的理解是,知识图谱是数据与关系/规则前提,是基础,自适应学习更多是基于算法模型,使得知识图谱得以应用:盘活知识图谱的节点,使其基于规则/先定关系为学习者提供个性化的学习/练习/测评内容。

如果是从一个大的框架去定义教育行业对知识图谱的角色,我目前的理解是,总体而言,无论在哪个细分赛道,知识图谱的构建原理和流程差异不大。

在落地上,国内构建知识图谱应用在教育领域的项目包括乂学教育、作业盒子、洋葱数学、盒子鱼、学吧课堂、猿辅导、一起学习等等。

以下举两个应用实例,以及对应使用知识图谱的逻辑。

乂学教育/松鼠AI

松鼠AI是面向中小学全学科在线辅导平台。其目标在于通过自适应系统,基于学生在线学习/测评情况,扫描学生知识漏洞,个性化查漏补缺。松鼠AI的自适应学习系统,主要基于四个理论体系,

“第一个叫做知识空间理论。把知识根据难易程度、重要性、认知层次进行分级,对学习内容建模,构建“知识图谱”,梳理知识点间的逻辑和认知相关关系”。

在这里,难易、重要性、认知层级,是上文提及的业务、节点关系定义相关。

盒子鱼

盒子鱼是一个中小学到高中、大学托福雅思等英语智能学习平台。基于学习内容,盒子鱼将知识点构建成知识图谱,知识图谱形成后,对学习者可以进行个性化的学习、测评、乃至下一步的智能辅导服务。

------

以上,是一个初步梳理,仅对KG有一个框架了解。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342