文章名称
【KDD-2021】【Beijing University of Posts and Telecommunications/Singapore Management University】Pre-training on Large-Scale Heterogeneous Graph
核心要点
文章旨在解决现有图预训练任务只针对同构图的问题，提出了大规模异构图预训练框架PT-HGNN，利用节点级别和子图级别的预训练任务进行对比学习，并将学习到的语义知识和结构特性迁移到下游任务。为了适应大规模数据，作者还提出了基于异构图的Personal PageRank，来增加训练速度。
下节介绍了作者研究的问题背景和节点层级的预训练任务，本节继续介绍子图级别的预训练任务和加速大规模图训练的方法。
研究背景
如前所述，在进行异构图学习是挑战包括，
- 如何在设计方法学习异构图中各类型节点的特征和语义差异，例如节点的出入度差异等。并利用对比是学习将这种特性encode到图节点的向量表示中。
- 如何设计方法快速的学习大规模图数据中的上述特性。
方法细节
方法架构
PT-HGNN的整体框架如下图所示，大致可以分为3个主要的阶段，采用2种预训练任务进行pre-train，
Schema-level Pre-training Task。节点级预训练任务只能捕获节点之间的一阶语义（直接相连）。因此，作者采用模式级预训练任务，来捕捉高阶语义和结构信息。一种常用的做法是meta-structures[7, 27] 和 motif，但是该类方法存在3个问题，
- 由于只采用了某种原路径下的结构，元路径对复杂高阶结构信息的表达能力相对有限。而motif只能捕获高级结构但对语义捕获能力有限（这里有一点不太理解原因，看来需要补课motif）。
- 在大规模的图网络中高效的发现meta-structure或motif是非常具有挑战的。
- 选取原路径和原结构需要依赖领域知识。
作者表示，异质图网络的schema是在捕获高阶语义和结构特性时具有得天独厚的优势（个人理解，是因为本身异质图就是依赖schema生成的）。并且不需要特殊的领域知识（因为schema，是可总结和抽象的）。利用Schema可以快速的从原始输入中采样样本（照着schema怼）。
Schema下正样本生成。作者表示，直接利用schema随机生成正样本，会造成节点不平衡的问题，例如，会议这种类型的节点，度比较大，可能会被多次采样。因此作者限制了每个类别下被采样的schema样本的数量。给定上图Figure 1中子图a中的schema，其中某个schema实例是
。从该schema实例中可以构造出多个正样本对。例如，以
为目标节点，则正样本对中的另一个节点，可以是
的任意一个节点，这个节点被称之为上下文节点。因此。正样本对可以形式化为如下图所示的公式。其中，
表示目标节点，
表示如上所述的一个schema实例。而
表示所有包含
schema positive pairSchema下负样本生成。作者采用2种方式生成针对目标节点
同类型但不同节点为target的不同schema，具体的逻辑可以形式化为如下图所示。其中，
表示一个batch中的所有节点。Schema负样本来自该batch中与目标节点
具有相同节点类型的其他节点
的context
。例如，Figure 1中子图b，
，
。
negative schema sample of diffferent instance with the same node type采用队列（memory bank）[10]利用上一个batch的正样本，其具体逻辑可以形式化为如下图所示。其中，
表示一个上一个batch中的所有节点。从中选取与目标节点
作为负样本。作者表示这种方法构造的负样本更不容易被区分，可以被认为是更hard的negative sample。
negative schema sample of previous batch with the same node type最终schema级别的负样本集合是上述两种方法的并集。
schema level negative samples在训练模型时，为了能够反映不同类型阶段的语义信息，作者对不同节点类型
设计了单独的encoder。
schema-level node encoder对于目标节点
schema-level context node embeding最终schema-level的对比学习目标如下图所示。其中，
为temperature参数。
schema-level loss
本节介绍了子图级别的预训练任务，下节继续介绍加速大规模图训练的方法。
文章引用
[1] AleksandarBojchevski,JohannesKlicpera,BryanPerozzi,AmolKapoor,Martin Blais, Benedek Rózemberczki, Michal Lukasik, and Stephan Günnemann. 2020. Scaling graph neural networks with approximate pagerank. In KDD. 2464–2473.
[7] Yuan Fang, Wenqing Lin, Vincent Wenchen Zheng, Min Wu, Kevin Chen-Chuan Chang, and Xiaoli Li. 2016. Semantic proximity search on graphs with metagraph- based learning. In ICDE. 277–288.
[10] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. 2020. Mo- mentum contrast for unsupervised visual representation learning. In CVPR. 9729– 9738.
[27] Yizhou Sun, Jiawei Han, Xifeng Yan, Philip S. Yu, and Tianyi Wu. 2011. Path- Sim: Meta Path-Based Top-K Similarity Search in Heterogeneous Information Networks. In VLDB. 992–1003.
[28] Aäron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation Learning with Contrastive Predictive Coding. arXiv preprint arXiv:1807.03748 (2018).
[*1] Pedersen, Lilian, Francisco Rodríguez and Fernando for Secretaria de Transporte Brunstein. “Manual de manejo ambiental y social.” (2007).
