Q-KGR精读笔记

原文：https://arxiv.org/abs/2410.01401

知识图谱问答（KGQA）通常先从大规模的知识图谱中检索出一个与目标问题相关的子图作为处理查询的基础。然而这个子图往往包含不相关的噪声信息。本文提出了一种知识图谱重评分（Q-KGR）的方法，旨在消除噪声路径，使模型能够更加专注于相关的知识。除此之外，本文还引入了一种参数高效的方法Knowformer，用于将重评分后的知识图谱注入到大模型中，以增强其事实推理能力。

1 方法

1.1 问题导向的知识图谱重评分

评分主要计算子图每条边和问题的相似度，方法如下：

对子图的节点对通过PLM（pre-trained language model）编码成 $e_s$ ， $e_o$ 。
将问题通过同一个PLM进行编码，然后通过一个平均池化层聚合成 $e_q$ 。
最后通过一个双线性层输出每条边的相关性分数
$\eta=Normalize(Bilinear([e_x,e_o],e_q))$

1.2 重评分知识图谱建模

增加了一个连接所有主题节点的全局节点（global node），以此拓展了图注意力网络（GAT）。节点 $\mathcal{V}_t$ 层间更新公式如下：
$h^{(l+1)}_t=f_m(\sum_{s\in N_t \cup\{t\}}\alpha_{st}m_{st})+h^{l}_t$

$f_m$ ：两层MLP。
$N_t$ ： $\mathcal{V}_t$ 的邻居节点。
$\alpha_{st}$ ：权重，实际计算方式为注意力分数和前面计算的边相关性分数的乘积。
$m_{st}$ ：节点信息。

其中，全局节点的初始化表示为0。

1.3 Knowformer

用Knowformer层替换最接近LLM输出的 $M$ 个Transformer层，将结构化知识信息注入到LLM中。注入方法是将图结构信息拼接到key-value矩阵上：
$FFN(x)=(x ·[key:\phi_k])·[value:\phi_v]$
其中 $\phi_k=Pr_kh$ ， $\phi_v=Pr_vh$ ， $Pr_k$ ， $Pr_v$ 是两个参数矩阵。