论文信息
论文标题:GraphMAE: Self-Supervised Masked Graph Autoencoders
论文作者:Zhenyu Hou, Xiao Liu, Yukuo Cen, Yuxiao Dong, Hongxia Yang, Chunjie Wang, Jie Tang
论文来源:2022, KDD
论文地址:download
论文代码:download
知乎只是本文文章中转站,详细内容参考本人博客园 论文解读(GraphMAE)《GraphMAE: Self-Supervised Masked Graph Autoencoders》
1 Introduction
GAE 研究困难之处:
首先,过度强调结构信息。
大多数 GAEs 利用重建边连接作为目标来鼓励邻居 [3,17,20,26,31,42] 之间的拓扑紧密性。该类型方法适用与链路预测和节点聚类,对节点和图分类却不令人满意。
其次,无损坏的特征重构可能不够健壮。
GAEs[3,20,26,27,31],大多使用有风险学习琐碎解决方案的普通体系结构。
第三,均方误差(MSE)可能是敏感的和不稳定的。
现有的具有特征重建 [17,18,27,31,42] 的 GAEs 都采用了 MSE 作为标准,没有额外的预防措施。然而,已知 MSE 存在不同的特征向量范数和维数[5] 的诅咒,因此可能导致自动编码器训练的崩溃。
第四,解码器的架构很少有表现力。
大多数 [3、16-18、20、26、42] 利用MLP作为解码器。由于图中大多数节点所含的信息较少,使用普通的 MLP 解码器可能无法弥补编码器的表示和解码器目标之间的差距。
2 Method
整体框架: