Wang Y, Chang D, Fu Z, et al. Consistent multiple graph embedding for multi-view clustering[J]. IEEE Transactions on Multimedia, 2021.
摘要导读
基于图的多视图聚类旨在在多个视图中获得数据的划分，在近年来受到了广泛关注。虽然已经为基于图的多视图聚类做出了很大的努力，但是将各个视图的特征融合到一起以学习用于聚类的共同表示仍然是具有挑战性的。本文提出了一种新颖的一致性多图嵌入聚类框架(CMGEC)。具体来说，设计了一个多图自编码器(M-GAE)，使用多图注意力融合编码器灵活地编码多视图数据的互补信息。为了引导学习到的共同表示维持每个视图中邻近特征的相似性，引入了多视图互信息最大化模块(MMIM)。此外，设计了一个图融合网络(GFN)，用于探索不同视图的图之间的关系，并提供M-GAE所需的共识图。通过联合训练这些模型，可以获得共同表示，该表示编码了更多的多视图互补信息，并更全面地描述了数据。
模型浅析
提出的CMGEC，主要由三个部分组成 : Multiple Graph Auto-Encoder(M-GAE), Multi-view Mutual Information Maximization module (MMIM), and Graph Fusion Network (GFN).
- M-GAE
- Multi-Graph Attention Fusion Encoder
每个视图都对应一个GCN层，以作为输入得到第一层的
的表示：
为了自适应的融合不同视图的样本，通过MLP层引入了一个度量视图重要性的系数矩阵。由此，由multi-graph attention fusion layer获得的公共表示的操作如下：
从操作可以看出，各视图之间共享了同一个MLP层，得到融合的。在此基础上，又叠加了一层GCN用来获取最终的共有表示
：
是由GFN得到的共识图，
。
- View-Specific Graph Decoders
用共有表示是第
个视图的可学习矩阵。
- Reconstruction Loss
计算原始和
之间的差异性：
- Graph Fusion Network
作者这里使用的是一个全连接层来获取不同视图之间的关系以获取全局的节点关系，最终结果是产生一个共识图层的图融合网络表示如下：
对于该网络的第一层而言，使用的是multi-graph fusion layer，也就是说，每个视图先有一组自己的矩阵，然后使用共享的
（与前序的
为结合每个图中的特征使得获得的共识是谱聚类的优化目标，详情可以查看博客https://www.cnblogs.com/xingshansi/p/6702174.html，这里不进行赘述。显然，得到的
- Multi-View Mutual Information Maximization
根据谱聚类的性质，样本之间的信息用来引导AE来学习聚类友好的表示。其主要的假设是，如果样本和
在任一视图中较为接近，那么其对应的共有空间中的表示
和
也是接近的。因此，其MMIM目标描述为：max{
}，其损失函数表示为：
。因为KL无上界，作者使用了JS散度(https://yongchaohuang.github.io/2020-07-08-kl-divergence/)来代替。即：
。根据变分估计，两个分布p(x)和q(x)之间的JS散度可以表示为
然后使用判别器区分负样本对和正样本对，用来估计正样本的分布。（感觉这个变形下来，转眼就变成了binaryCrossEntropy？？？？）
最终的损失函数变成了：
第一次看到用MLP进行图融合的，感觉很有意思。其中的一些小trick还是很有趣，比如说参数共享的multi-graph attention fusion layer。
