1.CrossE（WSDM2019 论文 | 基于交互嵌入的知识图谱预测与解释）
原文链接：https://yq.aliyun.com/articles/714553?type=2
文中提到的其他知识图谱嵌入方法：RESCAL、TransE、NTN、DistMult
交叉交互是关系推理中广泛存在的现象，交叉交互示例：
CrossE的整体方法如下图，不仅为实体和关系学习通用嵌入，还通过一个交互矩阵为它们生成因三元组环境不同而不同的交互嵌入：
实验：
本文实验从①链接预测效果②对于预测结果的可解释性对嵌入效果进行评估
①链接预测实验
数据集：WN18、FB15k、FB15k-237，其中CrossE对具有挑战性的数据集FB15k、FB15k-237上实现了较为明显的提升，实验结果：
②预测可解释性评估
（本文所指的可解释性是存在于头实体和尾实体之间的某种路径，在总结头尾实体两度范围内的所有可能路径和结构基础上提出了6种类比结构，通过在知识图谱中搜索类比结构的方式为预测结果提供解释）
提出了两种评价模型提供解释的能力的指标，Recall 和 AvgSupport，其中 Recall 指的是通过类比结构能够提供解释的预测结果占总预测结果的比例，AvgSupport 是指能提供解释的预测结果的平均的支持度(support), 支持度是指知识图谱中存在的头尾实体之间的相似结构的实例个数。一般来说，具有较好的提供解释能力的嵌入模型，由于较好对实体进行了嵌入，通常具有更高的 Recall 和 AvgSupport。
六种类比结构示例：
总结：嵌入模型的预测能力和提供解释的能力并没有直接关联，具有较好预测能力的模型并不一定也具有较好的提供解释的能力，这是两个不同的评估维度。
2.DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning
code：https://github.com/xwhan/DeepPath
本文的研究内容为大规模知识图（KGs）中学习推理的问题。更具体地说，本文描述了一种用于学习多跳关系路径的新颖的强化学习框架：使用基于知识图嵌入的具有连续状态的基于策略的代理，这通过对最有可能的关系进行采样来在知识图谱向量空间中进行扩展它的路径。与以前的工作相比，本文方法包括一个奖励函数，该函数考虑了准确度，多样性和效率。实验表明，在Freebase和Never-Ending Language Learning数据集上，本文提出的方法优于基于路径排序的算法和知识图嵌入方法。
（本文提出了一种新的可控多跳推理方法:将路径学习过程定义为增强学习(RL)。与PRA（路径排序算法）相比，使用基于平移的基于知识的嵌入方法(Bordes et al.， 2013)来编码RL代理的连续状态，这是在知识图的向量空间环境中产生的。代理通过采样一个关系来扩展它的路径，从而采取增量步骤。为了更好地指导学习关系路径的RL代理，我们使用了政策梯度训练(Mnih et al.， 2015)，该训练具有一种新的奖励功能，可以联合鼓励准确性、多样性和效率。在经验上优于PRA和基于Freebase和Never-Ending语言学习的嵌入方法(Carlson et al.， 2010a)数据集。）
本文贡献：
①首次提出了学习知识图中多跳关系路径的新颖的强化学习方法
②我们的学习方法使用一个复杂的奖励函数，同时考虑准确性、效率和路径多样性，在寻路过程中提供更好的控制和更大的灵活性
③实验结果表明，该方法可扩展到大规模的知识图，在两个方面优于PRA和KG嵌入方法
RL模型：
左:KG环境由MDP建模。虚线箭头(部分)表示KG中现有的关系链接，粗体箭头表示RL代理找到的推理路径。右上角的- 1是关系的倒数。右:策略网络代理的结构。在每个步骤中，通过与环境交互，代理学习选择一个关系链接来扩展推理路径。
实验部分：
为了评估强化学习方法代理发现的推理公式，本文探索了两个标准的KG推理任务:链接预测(预测目标实体)和事实预测(预测未知事实是否成立)。比较了基于路径的方法和基于嵌入的方法。然后，本文进一步分析了提出的强化学习代理找到的推理路径。这些高度预测性的路径验证了奖励函数的有效性。最后，进行了一个实验来研究监督学习过程的效果。
（数据集）
（baselines）
主要是与基于路径排序与知识图嵌入的两类方法进行对比
（实验结果）
评价指标：MAP（meanaverage precision，平均精度）
总结：
本文中提出了一个增强学习框架来提高KGs中关系推理的性能，具体地，训练了一个RL（强化学习）代理来在知识库中寻找推理路径。与以前基于随机游动的寻路模型不同，RL模型允许我们控制所找到路径的属性。在许多基于路径的推理方法中，这些有效路径也可以用来替代PRA（数据驱动的算法，使用随机游走(RW)来寻找路径和获取路径特征）。对于两个标准推理任务，使用RL路径作为推理公式的本文方法通常优于两类基线。
在未来的研究中，计划研究将对抗性学习纳入的可能性(Goodfellow et al.， 2014)，以提供比在这项工作中使用的人类定义的奖励函数更好的奖励。不需要根据路径特征设计奖励，可以训练判别模型进行奖励。此外，为了解决KG没有足够的推理路径时的问题场景，有兴趣将RL框架应用于KG三元组和文本提及的联合推理。
