Xu J, Ren Y, Tang H, et al. Multi-VAE: Learning disentangled view-common and view-peculiar visual representations for multi-view clustering[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 9234-9243.
摘要导读
作者表示当前的多视图聚类任务经常通过融合多个视图表示或在一个共同的特征空间中处理聚类，这可能会导致各种特征纠缠在一起，特别是在视觉表示中。本文提出了一个基于VAE的多视图聚类框架来学习视图表示，总体来说在生成模型中引入了一个视图共有变量和多个视图特有变量。具体来说，视图共有变量先验近似服从离散的Gumbel Softmax分布，用于抽取多个视图中共享的类簇因子。同时，视图特有变量先验服从连续高斯分布，以学习各视图的特定的视觉特征。通过控制互信息来解耦视图共享表示和视图特有表示，这样离散的类簇信息和连续的视图信息将会被很好的挖掘。
模型浅析
问题声明
给定多视图图像数据集，每个样本包含
个视图分别包含不同的视觉信息，
是数据集的大小。多视图聚类的目的是将综合给定的视图特征降样本分配到
个类簇中。
网络结构
整体的动机是通过VAE学习解耦的多视图表示，具体做法是引入相互独立的视图共有变量和视图特有变量
来建模多视图数据。也就是说，整个模型需要考虑如下的生成模型（联合概率）：
其中，
对应数据的类簇信息，由所有视图共享。
则是每个视图对应的不同的特征。由此，可以得出，
和
，考虑到在VAE中难以计算后验的积分。在模型中使用
和
参数化
和
来近似真正的后验。
-
推断过程
在推断过程中，所有视图的嵌入表示被拼接到一起以学习数据的共有信息。随后，通过）个神经元获取视图共有向量
被表示为相互独立均匀的Gumbel Softmax分布的乘积
，其中
。因此，近似后验
。为了让整个过程变得可微，本文引入了Gumbel-Max重参数技巧：
其中，和
是温度参数。
不同于类簇信息，模型假设其他的视图特有信息是连续的，每个变量的先验是标准正太分布，。
被参数化为高斯因子乘积：
同理，根据重参数技巧，有如下的等价表示： -
生成过程
在生成的过程中，视图共有特征。即，给定视图
的生成如下：
在整个结构中，参数是部分共享的。
-
Multi-VAE-C：
由于个样本的类簇预测可以通过：
Multi-VAE-CZ：
鉴于多个视图的视觉信息可能是类簇信息的补充，分离出的视图表示被缩放到[0,1]，并将它们拼接起来形成一个全局潜在表示, 然后将其喂入
- 变分下界
变分推理的目的是最大化观察到的多视图数据的似然函数。作者在后续的推导中假设
