Heterogeneous Graph Attention Network

异质图神经网络 HGNN
2019 WWW

方法

映射节点特征到相同的特征空间中：（因为不同类型的节点的特征向量的规模可能不一样）

$h_i$ 是节点原特征向量， $h'_i$ 是变换后的该节点特征向量， $\phi_i$ 是该节点对应的节点类型，对每一个类型的节点，都有对应的转换矩阵 $M_{\phi_i}$

进行节点级别的注意力计算和节点聚合：

首先利用自注意力学习重要性 $e_{ij}^{\Phi}$ ，表示的是节点j对于节点i来说有多重要，论文里叫做the importance of meta-path based node pair (i,j)，计算公式为：

其中 $att_{node}$ 是用来实现节点级别注意力的DNN，对相同的元路径，这个 $att_{node}$ 是一样的；但是 $e_{ij}^{\Phi}$ 和 $e_{ji}^{\Phi}$ 是不一样的，保留了异质图的不对称性；

接下来计算节点的权重 $\alpha_{ij}^{\Phi}$ ，基于softmax函数实现，对于节点i来说，计算的是 $nodes\ j \in \mathcal{N}_i^{\Phi}$ 的节点权重，其中 $\mathcal{N}_i^{\Phi}$ 表示的是the meta-path based neighbors of node i (include itself)；计算公式为：

其中 $\sigma$ 是激活函数， $||$ 表示连接操作， $a_{\Phi}$ 是针对元路径 $\Phi$ 的节点级别的注意力向量，这个公式实际上就是对重要性进行了正则化，对节点i来说，分母就是 $\mathcal{N}_i^{\Phi}$ 的全部重要性； $\alpha_{ij}^{\Phi}$ 也是非对称的。

对节点i，计算出全部 $\mathcal{N}_i^{\Phi}$ 中的节点j的权重 $\alpha_{ij}^{\Phi}$ 之后，就可以进行聚合了，获得节点i基于元路径的embedding：（应该会有很多条元路径，对每个节点，每个元路径都会聚合出一个embedding来，这个embedding仅能捕捉这个元路径的语义，接下来会需要语义级别的注意力再进行聚合）

把节点级别的注意力再扩展到多头注意力，使训练过程更加稳定，在这里，就是把上述的节点级别注意力重复计算K次，然后连接起来，变成最终的embedding（对多头注意力还不是特别了解，为什么要这么做）

如果给定P个元路径，最终获得P组node embeddings：

进行语义级别的注意力计算和节点聚合：

语义级别的注意力机制也是通过DNN实现的，论文中记为 $att_{sem}$ :

其中， $\beta_{\Phi_i}$ 是元路径i对应的权重， $\mathbf{Z}_{\Phi_i}$ 是全部节点基于元路径i的embedding，可以看成一个矩阵吧；

计算每个元路径的重要性，通过语义级别的注意力机制实现：

其中，对于元路径i，每个节点都已经计算出了一个embedding $z_i^{\Phi}$ ，先将其进行一个非线性的转换，比如上式中就用了一个一层的MLP进行转换，然后用语义级别的注意力向量 $\mathbf{q}$ 相乘，图中所有节点的平均值就是这个元路径的重要性了；注意其中的 $\mathbf{W,b,q}$ 都是需要学习的参数，且在整个网络中共享；