Zhu H, Feng F, He X, et al. Bilinear graph neural network with neighbor interactions[C]//Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence. 2021: 1452-1458.
摘要导读
现有的GNN的图卷积操作大多使用加权求和或者元素对位相乘以聚合近邻节点的信息。虽然已经得到了广泛的应用，但是在这类的操作中忽略了这些节点之间的关联关系。而存在共线关系的两个近邻节点对于目标节点表示的学习是有指示意义的，而现有的方法无法捕获这种指示关系。
为了捕获近邻节点之间的关联性，本文设计了一种双线性图卷积操作，通过邻居节点表示的成对关联交互来增强加权和。
并指出两个向量之间的乘法是建模交互作用的一种有效方法——强调共同属性和稀释差异信息。
模型浅析
数据声明：。
为邻接矩阵，
为特征矩阵。除此之外，还给定了给定节点
的近邻点集合
，扩展的近邻集合
。且定义节点
的度为
，对应的
。
模型设计的目标是学习每个节点的表示向量
。对于下游的分类任务则可以在不需要图结构和原始节点特征的情况下得出标签输出
。
-
Bilinear Aggregator
受因子分解机的启发，作者提出了一种适用于局部结构中邻居相互作用建模的双线性聚合器：其中，代表对位相乘，
是需要学习的目标节点的表示，
和
分别是
集合的下标，
的条件限制是为了避免由自关联引入的噪声。
代表给定节点
例如，对于只有一个邻居的稀疏节点，邻居之间的交互不存在，而目标节点和邻居节点之间的交互可能特别有用。 -
BGNN Model
由于双线性聚合器()强调节点交互，加权和聚合器(
)可以对不同的信号进行编码，在提出的模型中BGNN中将它们结合起来，构建一个更具表现性的图卷积网络。
这里采用的是简单线性组合机制。存储的是第
层的节点表示(编码的是
是一个超参数来平衡传统的GNN聚合器和提出的双线性聚合器的强度。
由于 -
多层BGNN
传统的GNN模型通过堆叠多个聚合器因此作者也表示，最直接的扩展为多层的方式为：，但是这种方式可能存在并不期望的高阶关联的属性。例如，在两层的表示学习中可能会在2阶的近邻节点中包含部分4阶的关联属性。出于这个原因，重新定义了一个2层的BGNN模型：其中，存储的是图的2-hop连通结构。
是一个将矩阵中非零项转成
的操作。
是一个调节的超参数。由此，可以进一步定义k层BGNN：
同理，存储的是图的k-hop连通结构。因此，k层BGNN的计算的复杂性取决于
模型训练
可以看出，BGNN是一个可以由微分损失进行端到端优化的模型。
在当前的半监督节点分类任务中，使用的是标记数据的交叉熵损失。
并且作者指出，因为实验数据的规模都比较小，因此，layer-wise的图卷积操作都是以整个数据矩阵的形式进行运算的，关于batch的实现和近邻节点的采样将会在后续大规模图的工作中。
最近对双线性以及双线门控单元关注比较多。一直以来思维被局限在相邻节点和上下文语义的捕获上。本篇论文以近邻节点对的方式给出了这种双线性的操作可以被放大为成对的节点/样本/表示间关联关系的捕获。让人耳目一新。
