Lin R, Du S, Wang S, et al. Consistent graph embedding network with optimal transport for incomplete multi-view clustering[J]. Information Sciences, 2023, 647: 119418.
摘要导读
现有的不完整多视图学习的模型通过探索不同视图之间的互补性和一致性信息来重构多个视图的潜在信息。然而，为视图不全缺失的信息会损失一致性，同时，融合和重构视图还会面临过拟合的问题。最优传输（optimal transport）算法巧妙的测量两个分布之间的距离，从而使得重构损失不在增加并且保证了数据的多个视图之间的一致性和互补性。受此启发，本文提出将最优传输算法整合到不完整多视图聚类的框架中。提出的一致的图嵌入网络（CGEN-OT）通过最优传输和对抗模块和融合模块的结合来生成完整的潜在图嵌入表示。具体来说，CGEN-OT利用一个对抗模块来生成完整的潜在图嵌入，将其融合为一个一致的嵌入，并且引入重构损失和Sinkhorn损失来联合优化提出的网络以获得更好的潜在图嵌入表示和聚类结果。在多个数据集上的结果都展示了提出模型的有效性。
模型浅析
动机
现有的不完整多视图聚类取得了较好的效果，但这些方法大多都需要通过重参数技巧来计算梯度导致模型并不灵活。为解决这些问题，本文为不完整聚类设计了一个一致的最优传输网络。该网络使用生成对抗网络来完整化不完整图信息，然后通过深度融合网络进行融合。最终，在最优传输的基础上构建了一个灵活的likelihood-free框架高效的拟合重构损失。
一致的图对抗模块
给定数据集，首先通过高斯核构建视图对应的初始KNN亲和图，然后利用生成对抗属性来挖掘不完整多视图数据的一致性。该模块使用不完整视图同时训练生成器和判别器，因而这里并不需要每个视图都必须完整。具体来说，不完整的视图作为生成器的输入来产生一个完整视图。同时，生成的视图和原始的不完整视图同时输入到判别器中，该策略可以增强生成器的生成能力，从而从不完整数据中称为完整的视图表示。通过生成对抗的方式，使得该模块有效的补全了缺失的视图信息。
该模块的生成网络用于学习现有信息图的初始非线性结构。为学习具有辨别性的特征和多有视图的几何结构，每个视图通过对抗学习来捕获更高阶的图嵌入。整个过程可形式化为：，其中
表示视图
的对抗亲和图；
表示视图
的生成器，
为视图
的判别器
的可训练参数。通过迭代式的生成对抗训练，最终抽取每个视图的图表示。
互补的图融合模块
前序模块在保证多视图一致性的情况下为各视图抽取具有辨别性的特征，但互补性和缺失信息并没有进行处理。受多通道信息处理的启发，本文设计了一个互补图融合模块。该模块通过融合多通道的图信息，推动生成包含完整信息的图。所有的对抗亲和图通过矩阵
构建完整图。该过程形式化为如下（6）：
最优传输嵌入模块
在将应用到聚类任务前，本文还设计了一个最优传输嵌入模块来学习低维的潜在图嵌入。该模块采用包含编码器E和解码器Q的自编码结构。最优传输算法来实现重构的嵌入表示和已知分布的有效匹配。该模块为图嵌入模块提供了最大似然，并增强了所提出框架的性能。关于AE的学习形式化为：
（7）其中，
表示中间层低维潜在嵌入，
表示编码器E中可训练的参数，
为激活函数。重构的嵌入和所有对抗性亲和图通过最优传输算法进行匹配。经过
轮迭代，可以学习到更好的潜在表示
。
训练损失
整体框架的训练损失（12）为：
实现
在实现的细节中，论文使用的是channel number of convolutional layer，这里笔者认为指卷积输出层的通道数，即卷积核的个数。当然这里说的不知道到底是并行还是串行，笔者认为串行的可能性较大，因为后续的实现细节并没有说明多个feature map怎么整合。
每个模块的层都是卷积层，在第一个模块中生成器和判别器对应的卷积核个数分别为[1,4,4,1]，第二个模块则是为每个视图先使用了相同的四层卷积，然后定义了输出层的通道数[, 1]（
这两个channel number竟然不一样？），整合到一个融合的图。第三模块，使用的是结构为[1,4,8,8,4,1]的卷积自编码器。
比较好奇在真正的缺失视图数据中，缺失的数据是用什么形式来存储的，是如何一般将其处理为正常的输入形式？后续有机会再来填坑。
