论文阅读“SURER: Structure-Adaptive Unified Graph Neural Network for Multi-View Clustering”

Wang J, Feng S, Lyu G, et al. SURER: Structure-Adaptive Unified Graph Neural Network for Multi-View Clustering[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(14): 15520-15527.

摘要翻译

深度多视图图聚类（Deep Multi-view Graph Clustering，DMGC）旨在利用从多视图数据中提取到的图信息将样本划分到不同的类簇中。主流的DMGC方法使用图卷积网络将结构信息编码为视图特有表示并将其融合为共识表示。然而，作者发现，一方面由原始的数据表示提前构建的图结构信息，用于聚类任务并不理想；另一方面，现有的大多数方法都是通过后融合的方式获取共识表示，无法在多视图之间传播结构信息。基于以上观察，作者提出了用于多视图聚类的结构自适应的统一图神经网络（Structure-adaptive Unified gRaph nEural network for multi-view clusteRing， SURER），可以学习异构多视图统一图和鲁棒的图神经网络结构。具体来说，首先设计了一个图结构学习模块，用于修正原始的视图特有属性图，即移除图中错误的边、同时发现潜在的阶段链接关系。基于修正的多个视图特有属性图，通过链接来自同一样本的不同视图表示，将其综合成为统一的异构图。进一步的，将得到的统一的异构图输入到图神经网络中，有效的整合来自多个视图之间的互补信息，学习共识表示。丰富的实验结果验证了提出模型的有效性。

模型浅析

结构自适应的统一图神经网络可以学习样本之间鲁棒的拓扑结构，并通过挖掘多视图之间的互补信息提升多视图聚类的性能。下图是提出模型的框架结构。

图结构学习模块
GNN在多视图潜在结构的探索上展现出出色的性能，但同时它对输入的图结构的质量也非常依赖。为了学习到适用于下游任务的最优图，作者提出使用自适应的图结构学习模块对原始图进行修正。给定多视图数据集 $\{X^v \in \mathbb{R}^{d_v \times n}\}_{v=1}^m$ ，其中 $X^v$ 中的第 $i$ 列代表样本 $i$ 在第 $v$ 个视图的表示。在通常的做法中，利用固定的结构图 $A^v$ 通过GNN进行样本表示学习，通常会影响GNN的表示学习能力。因此，在本模块中，作者采用图自编码网络学习修正的结构图 $\hat{A}^v \in \mathbb{R}^{n \times n}$ 。
（a）视图特有图编码器：使用原始的结构图 $A^v$ ，通过GCN将近邻结构关系编码到样本的潜在表示 $Z^{(v,l)}$ 中，形式化为如下：

其中 $l$ -th层的图卷积 $f^{(v,l)}$ 计算方式如下：

需要指明的是，第一层的输入为多视图原始矩阵 $\{X^v \in \mathbb{R}^{d_v \times n}\}_{v=1}^m$ ，然后可以得到对应的潜在表示 $Z^{(v,1)}$ ：

（b）视图特有特征解码器：引入一系列由 $\mu^v$ 进行参数化的视图特有解码器 $g^v(\cdot)$ 分别对 $\{Z^v\}_{v=1}^m$ 进行解码重构。对于给定视图 $v$ ，其对应的解码过程为：

这里需要指出的是，解码器网络由全连接层组成，和基于GCN的编码器网络并不完全对称。该部分对应的损失函数为：

（c）视图特有图解码：为了减轻原始数据中噪声的负面影响，该部分使用从图编码器中提取的特征构建相对来说clean的图 $\{\hat{A}^v\}_{v=1}^m$ 。因为从视图特有图编码器中包含了完整的结构和视图特有信息，作者直接使用内积编码器来预测样本之间的亲和关系，从而生成一个较为鲁棒的图。图解码过程形式化为如下：

其中， $W^v$ 是第 $v$ 个视图解码器的可学习的权重参数。为了保留修正图 $\hat{A}^v$ 中的结构，该部分的损失形式化为如下：
统一异构图的构建
在异构图的构建中，作者同时考虑了视图间和视图内样本的链接关系。包含两个方面：
（1）将来自同一样本的不同视图表示构建链接；（不同视图之间的结构关系）
（2）将不同视图中近邻样本的表示构建链接；（同一视图内的结构拓展）
异构图关系传播
基于初始化输入 $\{Z^v\}_{v=1}^m$ ,利用异构图网络学习共识表示 $H \in \mathbb{R}^{h \times n}$ 。异构图网络用过如下的信息传播迭代的修正样本表示：

在实际的实验中，作者使用（7）式的输出作为其输入重复传播操作。根据上述操作，可以得到共识表示：

-自监督多视图聚类
该部分包含两个损失，其中一个是基于 $H$ 生成软分配 $Q$ 以及目标分布 $P$ ，使用常用的KL散度损失指导聚类，此处就不进行赘述。此外，作者发现，随着卷积层数的增加，样本表示越来越相似，导致样本中的多样性和信息都逐渐减少。因此，作者引入了各视图的潜在表示 $\{Z^v\}_{v=1}^m$ 以提升具有的聚类软分配 $P$ 的有效性。具体来说，首先的对各视图表示进行带权重的融合：

并以此作为样本表示，使用 $k$ -means算法获得聚类结果 $\tilde{P} \in \mathbb{R}^{n \times C}$ 。得到的 $\tilde{P}$ 作为锚点，通过如下的交叉熵损失对 $P$ 进行监督：

最终，可以通过下式获取最终的聚类结果：
总体损失

在训练阶段，图结构学习模块，异构图卷积网络以及聚类层通过一下目标函数进行联合优化：

论文阅读“SURER: Structure-Adaptive Unified Graph Neural Network for Multi-View Clustering”

摘要翻译

模型浅析

推荐阅读更多精彩内容