TransR——论文《Learning Entity and Relation Embeddings for Knowledge Graph Completion》阅读笔记

TransH在TransE基础上做出的改进,提高了知识表示的效果,在一定程度上解决了复杂关系的处理,同时在链接预测、三元组分类和关系抽取任务上相比传统的方法(距离模型、非结构模型、单层神经网络、双线性模型等)达到最优,然而TransH也存在一定的问题。TransR作者发现TransH模型虽然有效的处理了复杂语义关系表示,但两个实体仍然处于相同的语义空间,因此不能够充分表示实体与关系的语义联系。

1、引言与简介

TransE和TransH模型通过将关系视为一种从头实体到尾实体的翻译机制来获得实体和关系的表征。事实上一个实体可能有多个不同方面(特征),关系可能关注实体不同方面的特征,公共的实体特征空间不足以表征。本文,我们提出TransR模型构建实体和关系表征,将实体空间和关系空间相分离。然后我们以这种方式训练表征向量:首先通过将实体映射到关系空间中,其次在两个投影实体之间构建翻译关系。实验中,我们在三个任务上完成了验证,分别是链接预测、三元组分类和关系抽取。实验效果表明相比之前的基线模型,包括TransE和TransR,得到了一定的提升。

TransE和TransH模型是基于这种表示学习。TransE在word2vec的启发之下,通过构建简单的语义表示h+r~ t 实现训练,TransH则基于TransE基础上能够对复杂关系进行表示。不过这两个模型均是假定实体和关系是在同一个语义空间中。作者提出一种新的策略,将实体和关系分别映射到不同的语义空间中,分别为entity space(实体空间))和relation space关系空间)。

假设实体对(h, r,t),首先根据当前的关系r将头尾实体分别映射到关系空间中 hr, tr,然后在关系空间中建模hr +r ≈tr。

另外,在特定的关系下,实体对通常表现出不同的模式,因此不能单纯的将关系直接与实体对进行操作。我们通过将不同的头尾实体对聚类成组,并为每个组学习不同的关系向量来扩展TransR,称为基于聚类的TransR(CTransR)。

2、相关工作

相关工作与TransH内容一致

3、算法模型


TransR和CTransR的区别在于两者的关系空间不同,前者只有一个关系空间,亦即对所有的关系都在同一个空间中;后者则是根据不同的关系,对属于同一个关系的所哟实体对聚集在一个簇中,每个关系代表不同的空间。

损失函数:

作者指出训练策略与负样本构建则与TransH一样

4、总结

本文作者提出的TransR和CTransR模型可以将相同关系的三元组映射到对应关系的空间站。作者提的对三元组进行语义表示,在包括链接预测、三元组分类和关系抽取任务上均实现最好效果。作者提出三个未来工作,包括(1)利用推理信息增强图谱的表征;(2)探究文本与图谱的表示模型;(3)基于CTransR,研究更复杂的模型。

TransR模型巧妙的借鉴了TransH模型的空间投影想法,更细致的将不同的关系作为不同的投影空间,每个三元组中的两个实体之所以在同一个三元组,很大程度上是因为两个实体的某些特性符合当前的关系,而这些特性在这个关系所在的语义空间中满足一定的规律,亦即 h r+t≈tr

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容