文章名称

【IJCAI-2022】【Faculty of IT/Nanjing University of Science and Technology】Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning

核心要点

文章旨在解决现有图神经网络方法严重依赖标注样本的问题，提出MERIT方法，基于图自监督学习和BYOL[Grill et al., 2020]的思想，利用online和target network在2个对比视图上进行对比学习，设计了cross-netowrk（对比online和target network的输出）和cross-view（对比同一个network中2个不同视图的输出）来学习可以使下游任务受益的节点表示。

研究背景

为了解决图神经网络对标注样本的依赖，许多图对比学习方法被提出。它们通过对比不同增广视图下的样本向量表示，学习可迁移的、鲁棒的向量表示。其中一部分对比学习方法基于互信息最大化，作者认为这些方法，存在两个问题，

• 现有的基于MI的对比学习方法，通过额外的估计器判断（大量）正负样本的相似性，计算量较大且对估计器的选择比较敏感[Tschanen et al., 2020]。
• 此外，大多数现有的GCL方法严重依赖大量的负样本来避免平凡解（collapse），这些负样本可以被视为正则项，指导着模型学习的方向，因此需要慎重选择。

在图像自监督学习领域，为了解决上述问题，BYOL[Grill et al. 2020]提出利用非对称的Siamese Network以及stop gradient和Moving average updating技术，在没有负样本参与的情况下，解决了模型坍塌到平法解的问题（BYOL被视为是一种predictive self-supervised learning方法）。

作者提出将上述方法引入图神经网络自监督学习中，结合非对称孪生网络和对比学习的优势，实现多视图以及不同网络间的对比自监督学习。

方法细节

MERIT的目标是在给定图时，学习图中节点的表示，并可以将该节点表示直接用于下游任务，例如节点分类等。

MERIT的整体框架如下图所示，包括3个重要的组成部分。

framework of MERIT

• Graph augmentations。众所周知，数据增广是对比学习的核心要素之一，而在图自监督学习中，不能直接应用CV场景的图片旋转和剪裁等增广方法。现有方法已经针对图数据提出了多种图增广方法。作者依据经验，选择了4种图增广方法，

  • Graph Diffusion (GD)。GD是通过图变换生成等价的图视图，由于GD提供了很好地全局信息，因此被多种现有方法采用，具体可以形式化为如下图所示。其中，表示控制局部和全局信号输入的参数，表示是邻接矩阵上的传播矩阵，具体可参见[Klicpera et al., 2019]。

    graph diffusion

    上述是GD的通用形式，作者采用 Personalized PageRank (PPR) [Hassani and Khasahmadi, 2020]进行graph diffusion。

    PPR

  • Edge Modification (EM)。与[You et al., 2020]仅仅drop掉一些边不同，作者采用同样本比例（）drop以及add边。添加边不仅防止过度扰动图数据，同时可以保证图增广具有足够的复杂性。值得注意的是，每条边drop和add是一样的，并且所有边都是以同样的概率均匀采样的。

  • Subsampling (SS)。子图采样不仅能够帮助图神经网络学习重要的局部结构和局部语义，同时能够有效地节省计算资源。作者采用随机选取节点作为分割点的方式从原始图数据中采样固定大小的子图，具体实现方式请参见论文实验部分（由于不是重点这里就不赘述了，并且除了这种方式，可以采用其他多种子图采样的方法）。

  • Node Feature Masking (NFM)。作者以概率选择一部分节点特征元素替换为（因为是均匀概率替换，所以得到的特征向量有比例的特征是0）。

  作者采用SS+EM+NFM和SS+GD+NFM构建两个视图。

本节介绍了作者的研究主题和解法思路，并介绍了如何构建增广视图，下节继续介绍图对比方法。

心得体会

数据增广

这篇文章的研究重点不是图增广方法，而是如何利用online和target两个网络和两个增广视图来构建交叉对比，可以理解为对比任务的设计（对比工程）。

因此，作者设计了固定的图增广方法，并且没有利用数据对图中的节点或边进行区分，而采用了均匀采样的方法。

其他增广方法增强的方法图神经网络自监督学习 之 AutoSSL和该方应该可以进行结合，不过效果可能需要大量的实验和参数调节。

文章引用

[Tschannen et al., 2020] Michael Tschannen, Josip Djo- longa, Paul K Rubenstein, Sylvain Gelly, and Mario Lu- cic. On mutual information maximization for representa- tion learning. In ICLR, 2020.

[Youetal.,2020] YuningYou,TianlongChen,YongduoSui, Ting Chen, Zhangyang Wang, and Yang Shen. Graph con- trastive learning with augmentations. In NeurIPS, 2020.

[Klicpera et al., 2019] Johannes Klicpera, Stefan Weißenberger, and Stephan Gunnemann. Diffusion improves graph learning. In NeurIPS, 2019.

[Grill et al., 2020] Jean-Bastien Grill, Florian Strub, Florent Altche, Corentin Tallec, Pierre Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Guo, Mohammad Gheshlaghi Azar, Bilal Piot, koray kavukcuoglu, Remi Munos, and Michal Valko. Bootstrap your own latent - a new approach to self-supervised learning. In NeurIPS, 2020.