Graph Self-Supervised Learning: A Survey

作者：Philip S. Yu等

主要工作：

• 对图自监督学习进行归类
• 总结了已有的图自监督学习的工作
• 提出了对后续的图自监督学习工作方向的展望
• 相较于已有的图自监督学习综述，他们的工作对这块分得更科学更细致

Introduction 部分

自监督学习是一个正在快速发展的用于解决（半）监督学习的缺点的学习范式。通过训练模型解决精心设计的*中间任务*，自监督学习可以帮助模型从未标记的数据中学习到更泛化的表示，以此在*下游任务*上达到更好的性能和泛化表现。

背景知识

1. 图的背景知识：

   • 点集、边集、邻接矩阵
   • 有属性图与无属性图
   • 时空图
   • 同质图与异质图

2. 下游的图分析任务

   • 节点级任务
     • 节点分类
   • 链接级任务
     • 链接预测：预测两个节点间是否产生链接
   • 图级别任务
     • 图分类：预测出属性

3. 图神经网络

   • 

     • 是节点在第k层的表示

   • 

     • 是图的表示，使用遍历图中节点表示得到

4. 自监督学习模式

   几种自监督学习范式操作流程

• 预训练&微调（PT&FT)
  • 编码器首先对中间任务进行预训练，然后在下游任务上应用训练好的网络参数。
• 联合学习（JL）
  • 编码器联合训练中间任务和下游任务。该模式中 loss function 由自监督的 loss 和下游任务的 loss 共同组成，有一个 trade-off 的超参数控制了他们的贡献。可以被看作一种多任务学习。
• 无监督表示学习（URL)
  • 第一阶段与 PT&FT 类似，但是在下游任务阶段，URL不更改网络参数。

图自监督学习方法

1. Masked Feature Regression（MFR)
   • MFR 关注在遮罩下预测节点属性，该任务也被称为图补全。
     • Generative image inpainting with contextual attention. CVPR, 2018.
     • When does self-supervision help graph convolutional networks?. ICML, 2020.
     • Self-supervised learning on graphs: Deep insights and new direction. arxiv preprint.
     • Strategies for pre-training graph neural networks. ICLR, 2020.
     • Graph-based neural network models with multiple self-supervised auxiliary tasks. arxiv preprint.
2. Auxiliary Property Prediction(APP)
   与 MFR 不同，APP 从基本的图的结构和属性信息可以构建出多种的中间任务，并且提供自监督的信号。文中将其分为两种：
   • Regression-based Approach（R-APP)
     • 预测图中的数值结构和属性信息。旨在通过增强特征转换避免局部结构过平滑。
     • Self-supervised learning on graphs: Deep insights and new direction. arxiv preprint.
   • Classification-based Approach(C-APP)
     • C-APP 依赖伪标签进行快速的模型训练。
     • Multi-stage self-supervised learning for graph convolutional networks on graphs with few labeled nodes. AAAI, 2020.
     • Deep clustering for unsupervised learning of visual features. ECCV, 2018.
     • When does self-supervision help graph convolutional networks?. ICML, 2020.
     • Pre-training graph neural networks for generic structural feature extraction. arxiv preprint.
     • Cluster-aware graph neural networks for unsupervised graph representation learning. arxiv preprint.
     • Self-supervised graph transformer on large-scale molecular data. NeurIPS, 2020.

图自监督学习相关工作