本文提出了一种在复空间表示知识图谱实体和关系的模型TransE，并且能很好的表示三种关系模型（对称/反对称、逆和合成）。同时我们提出了一种新的自对抗负采样方法，能有效训练RotatE模型。

1、摘要

我们研究了知识图中实体和关系的学习表示问题，以预测缺失链接。这类任务的成功在很大程度上依赖于建模和推断关系（或关系之间）模式的能力。在本文中，我们提出了一个行动知识图谱嵌入方法-RotatE，其能够建模并且推理任意关系模式：对称/反对称、逆和合成关系。特别的，RotatE模型在复空间中定义每一个关系作为一个从源实体到目标实体的一个旋转。此外，我们提出了一个新的自对抗负采样技术来提高训练TotatE模型的高效性和有效性。

2、简介

通常，现实中的知识图谱通常是不完整的，因此知识图谱的一个首要问题就是预测缺少的链接。 最近，已经进行了广泛的研究，以学习实体和关系的低维表示形式以进行缺失链接预测（又称为知识图谱嵌入）。大多是根据观察到的知识事实对知识图中的连接模式进行建模从而进行推断的。举个例子,

有些关系是对称的 symmetric（如：婚姻）

有些关系是反对称的 antisymmetric（如：孝顺）

有些关系与其他关系相反 inversion（例如，上位词和下位词）

有些关系可能是由其他人建立 composition（例如，我母亲的丈夫是我父亲）。

总之，都是从观察到的事实中找到建模和推断这些模式（即symmetry / anti-symmetry, inversion, 和 composition）的方法作链路预测。

现有的知识图谱嵌入模型大致有以下几类：

TransE模型将 relaltion 表示为 translation，旨在对 inversion 和 composition 这两种模式进行建模；

DisMult模型用三种方法对头实体–关系–尾实体建模，旨在对 symmetry模式建模；

但是，现有模型都无法建模和推断所有上述模式。 因此，该文章力图寻找一种能够建模和推断所有三种类型的关系模式的方法。

因此文章提出了 RotateE 模型作知识图谱嵌入。该模型的启发来源于欧拉分解：

,该式说明任何一个复数都可以看作复平面上的一个旋转向量（rotation）。具体来说，RotatE模型将实体和关系映射到复数向量空间，并将每个关系定义为从 head 实体到 tail 实体间的旋转。对于一个三元关系

，我们期望

  ,而 ∘ 表示 Hadamard积（元素乘积）。具体而言，对于复杂空间中的每个维度，我们都期望：

事实证明，该简单方法可以有效地对（上述三种）所有关系进行建模：

RotatE的优化采用了一种新的自对抗负采样（self-adversarial negative sampling）技术，通过当前实体和关系嵌入生成负采样。

复数表示形式：

3、相关工作

TransE 将每个关系表示为源实体和目标实体之间的双射，因此能够隐式地对关系的 inversion 和 composition 进行建模，但不能对对称关系进行建模； ComplEx 通过引入复杂的嵌入来扩展 DistMult，以便更好地对不对称关系进行建模，但是它不能推断合成模式。 这篇文章提出的 RotatE 模型利用了两者的优势。

依据现有的文献，有三种关系模型是非常重要的并且在知识图谱中广泛应用：symmetry, inversion and composition。我们给他们的定义如下：

对称关系意味着 A->B，B->A，反对称关系意味着 A->B，不能得到 B->A

相反关系意味着在关系1 的条件下可以得到 A->B。同时换一种条件关系2，可以得到 B->A

组成关系意味着 两种不同的关系条件下的一种传递组成关系

根据以上三种关系模式的定义，对现有模型在推断和建模这些模式方面的能力进行了分析。

4、算法模型

本节中我们介绍我们的模型如何建模和推理三种类型的关系数据。从欧拉等式中得到灵感，我们将头尾实体映射到复嵌入中 h,t∈Ck ;然后，我们将由每个关系 r 导出的函数映射定义为从头部实体 h 到尾部实体 t 的元素旋转。换句话说，给定一个三元组 (h,r,t) ,我们期望

这里， ∘ 是the Hadmard (or element-wise) product。特别地，对每一个在嵌入中元素，我们有 ti=hiri 。这里，我们限制 r∈Ck 的每个元素， ri∈C 并且 |ri|=1 。通过此， ri 是 eiθr,i 的另一个形式，对应于围绕复平面原点逆时针旋转 θr,i 弧度，仅影响复杂向量空间中实体嵌入的阶段。由于其旋转性质，我们将提议的模型称为RotatE模型。根据上述定义，对每一个三元组 (h,r,t) ，我们定义距离函数：

通过将每个关系定义为复杂向量空间中的旋转，旋转可以建模和推断上述三种类型的关系模式。

从表2中可以看到，TrasnE能够推理建模所有的其他关系模式除了symmetry pattern。原始是TransE中，所有的symmetry关系通过0平移向量表示。结果，这将推动具有对称关系的实体在嵌入空间中彼此靠近。RotatE解决了这个问题，并且能够建模和推断对称模式。任意向量r满足ri=±1能被用来表示一个在RotatE中的对称关系，因此，可以区分具有对称关系的实体。不同的对称关系也可以用不同的嵌入向量来表示。图1提供了仅具有一维嵌入的TransE和RotatE的图示，并显示了RotatE如何建模对称关系。

5、优化

在这里，我们使用类似于负采样损失的损失函数来有效优化基于距离的模型：

提出了一种用于提取负样本的新方法。 负采样损耗以均匀的方式对负三元组进行采样。 这种均匀的负采样方法存在效率低下的问题，因为随着训练的进行，许多采样显然是错误的，这没有提供任何有意义的信息。 因此，本文提出一种称为自我对抗性负采样的方法，该方法根据当前的嵌入模型对负三元组进行采样。 具体来说从以下分布中采样负三元组：

其中α是采样概率。 而且，由于采样过程可能很昂贵，因此我们将上述概率作为负样本的权重。 因此，经过自我对抗训练的最终负采样损失采用以下形式：

6、总结

我们提出了一个新的名为RotatE的知识图谱嵌入模型，其表示实体作为复向量，关系作为复向量空间的旋转。此外，我们提出了一个自我对抗负采样技术为了高效地训练旋转模型。我们的实验结果表明，在四个大规模基准测试上，RotatE模型的性能优于所有现有的最新状态模型。此外，RotatE还可以在一个明确设计用于合成模式推断和建模的基准上获得最先进的结果。对旋转关系嵌入的深入研究表明，这三种关系模式隐含在关系嵌入中。