Semantically Consistent Multi-view Representation Learning (KBS2023, on line)
摘要导读
该项工作致力于无监督多视图表示学习（UMRL，Unsupervised Multi-view Representation Learning）这一具有挑战性的任务，要求以无监督的方式从多个视图中学习统一的特征表示。现有的 UMRL 方法主要集中在特征空间的学习过程，而忽略了隐藏在不同视图中的宝贵语义信息。针对这一问题，本文提出了一种新颖的语义一致性多视图表示学习（SCMRL）框架，该方法致力于挖掘底层的多视图语义共识信息，并利用这些信息指导统一特征表示学习。具体来说，SCMRL 包括一个视图内重构模块和一个统一特征表征学习模块，这两个模块通过对比学习策略巧妙地整合在一起，使特定视图特征表征和学习到的统一特征表征的语义标签同时保持一致。这样，就能有效利用语义空间中的共识信息来约束统一特征表征的学习过程。在下游聚类和分类任务上展现出了出色性能。
模型浅析
数据定义
给定多视图数据包含
个视图，其中第
个视图对应的原始特征空间为
。其中
和
分别表示样本的个数和特征空间的维度。整个模型的目标是学习统一的多视图特征表示
。
模型
-
总体损失：
为视图内重构损失，
是统一特征表示学习中退化学习的损失，
是语义一致性损失。
和
是平衡因子。
-
视图内重构
对于多视图数据的每个视图，设置视图特有的视图自编码器学习各自的视图表示。对于视图，给定样本
其对应的中间层表示为：
得到的中间层表示被送入解码器中得到最终的重构特征：因此，这一部分的重构损失定义为如下： -
统一的特征表示学习
通过视图内重构，得到了视图表示的集合。理想中的统一特征表示应该包含多视图完整的信息，因此，每个视图都应该用于构建统一的特惠装呢个表示。为了学习该表示，本文作者引入了退化学习的策略。具体来说，该损失表示为：
其中表示由
参数化的第
在学习的过程中可以被更新。基于上式，统一的特征表示学习可以动态的平衡不同视图的重要性，并且达到整合低维视图特有特征表示的目的。
论文中使用视图平均的方式对统一特征表示进行初始化， -
语义一致的对比学习
然而，前两个模块的学习都是在特征空间中的，为了挖掘有价值的语义共识信息，作者引入了语义一致性的对比学习。首先，引入了一个共享的分类网络。由此可以假设
维的语义空间，该操作形式化为如下：
为方便描述，文中将记为
。每个
表示为：
其中为在第
个视图中，第
由于多视图数据的性质，每个视图在语义空间中可能会包含混淆的语义信息，可能会导致不同的分类结果。因此，文中引入了对比学习来挖掘一致的语义信息，同时获取到一致的类别。具体来说，语义列向量有
组向量对。其中包含
个正例对
，以及
个负例对。
给定视图对对应的对比损失如下：
其中列向量的相似度的计算使用的是余弦相似度，是温度参数。
对于对比学习而言，每两个视图之间都可以构成语义对比，因此，整个数据集的语义对比损失可以写成如下的形式：为避免所有的样本都分到相同的类簇中，文章还引入了类簇的正则化项：
该模块的整体损失表示为：
算法优化
输入：多视图数据集；
；类簇个数
输出：统一的特征表示
1. 通过重构损失训练各视图的自编码器（AE的预训练过程）
2. 使用视图平均表示初始化 H
3. while not converged do
4. 使用预训练的编码器部分获得各视图低维表示 Z
5. 使用语义分类器获取(m+1)个标签分布 Q
6. 使用整体损失对整个网络的参数进行更新
7. end
总结
通过引入语义一致性对比学习，本文将视图内重构与统一特征表征学习结合起来，并探索语义空间中有价值的共识语义信息，以指导整个网络的学习过程。
