论文阅读“Adaptive Weighted Graph Fusion Incomplete Multi-View Subspace Clustering”

Zhang P, Wang S, Hu J, et al. Adaptive Weighted Graph Fusion Incomplete Multi-View Subspace Clustering[J]. Sensors, 2020, 20(20): 5755.

摘要翻译

随着各种传感器和特征提取方法产生大量的多源数据，多视图聚类(MVC)引起了研究的关注，并在数据分析中得到了广泛的应用。大多数现有的多视图聚类方法都假设所有的视图都是完整的。然而，在许多真实的场景中，由于许多原因，多视图数据往往是不完整的，例如，硬件故障或不完整的数据收集。本文提出了一种自适应加权图融合不完全多视图子空间聚类(AWGF-IMSC)方法来解决不完全多视图聚类问题。首先，为了消除原始空间中存在的噪声，作者将完整的原始数据转换为潜在的表示，这有助于更好地构建每个视图的图。然后，我们将特征提取和不完全图融合纳入到一个统一的框架中，而两个过程可以相互协商，用于图形学习任务。对完整图进行稀疏正则化，使其对视图不一致性更有鲁棒性。此外，还可以自动学习不同视图的重要性，进一步指导了完整图的构建。在最后提出了一种有效的迭代算法来求解具有收敛性的优化问题。与现有的现有方法相比，在多个真实数据集上的实验结果证明了该方法的有效性和先进性。

主要贡献

在得到潜在空间后，引入相似图融合，提取内视图的局部结构。因此，可以在潜在空间中消除原始空间中存在的噪声，有助于更好地构造图。
它将缺失的样本和完整的样本之间的关系合并到完整的图中。对完整图施加的稀疏约束改善了视图的不一致性，减少了视图之间的差异，使该方法在大多数情况下更加鲁棒。
在优化过程中，每个视图的重要性都会被自动地学习和自适应地优化。因此，重要的观点在学习过程中有很强的指导。此外，该方法适用于任何多视图数据集。

模型学习

the proposed adaptive weighted graph fusion incomplete multi-view subspace clustering (AWGF-IMSC)

作者将局部结构包含图与自适应视图重要性学习相融合，是一种新的不完全多视图聚类方法。并且将不同尺度的不完全图融合成一个具有自动学习权值的完整图。并在在进行更新时，所构造的完整图将进一步指导不完全图和潜在表示的学习过程。

符号说明

注：粗体字母表示矩阵和向量。

符号	说明
$A$	矩阵
$A_{:,j}$	矩阵 $A$ 的第 $j$ 列
$A_{i,j}$	矩阵 $A$ 第 $i$ 行和第 $j$ 列的元素
$A^{T}$	矩阵 $A$ 的转置
$Tr(A)$	矩阵 $A$ 的迹
$A^{-1}$	矩阵 $A$ 的逆
$\left \| \left \|\cdot \right \|\right \|_{F}$	Frobenius范数
$\left \| \left \|X\right \|\right \|_{2,1}=\sum_{i=1}^n\sqrt{\sum_{j=1}^tX_{i,j}^2}=\sum_{i=1}^n\left \| \left \|X_{i,:}\right \|\right \|_{2}$	$l_{2,1}$ 范数
$A^{+}$	矩阵 $A$ 中的负元素都换成 $o$
$A=\{A^{(1)}, A^{(2)}, \cdots , A^{(m)}\}$	多视图数据表示
$A^{(i)} \in R^ {d_i × N}$	每一列代表一个样本， $N$ 为数据集的样本数， $d_i$ 为当前视图特征维数

模型介绍
对于不完整的多视图数据，作者的做法是将每个视图的表示 $X^{(i)}$ 中那些不完整的样本数据进行移除表示为一个 $d_i×n_i$ 的矩阵。假设输入数据 $X^{(i)}$ 的矩阵分解可以得到基矩阵 $U^{(i)}\in R^{d_i×k}$ ，以及一个系数矩阵 $V^{(i)}\in R^{k×n_i}$ 。其中 $k$ 是目标隐藏空间的维数，通常设置为 $X^{(i)}$ 的簇的数量。考虑到每个视图中缺失的样本不同，因此学习每个视图中相应可见样本的潜在表示是十分必要的。因此，在该框架中，每个视图的重构就可以形式化为如下公式：

并且为了约束视图内的相似结构和潜在的子空间结构，作者还对潜在表示 $V^{(i)}$ 使用了自表示属性来构建图。

其中，关于 $Z^{(i)}$ 的两条约束是为了对其有更好的概率解释。
由此约束，可以为每个特定的视图得到不同的图表示 $Z^{(i)}$ 。在获得每个视图上的图后，自然的想法是将多个不完整的信息整合成一个完整的信息。为了建立不完整的图和完整的图之间的对应关系，这里声明了一个索引矩阵 $O^{(i)}$ 。该索引矩阵 $O^{(i)} \in R^{n_i×N}$ 可以从完整视图中提取视图 $i$ 中的可见实例得到。即：

这个索引矩阵是为了记录当前样本 $j$ 是原来 $N$ 个样本的第几个。意味着每一行只有一个值为1；每一列最多有一个是1，甚至可能都为0，代表该样本在当前视图不可见。并且由这两个矩阵可以对当前视图的全图表示矩阵进行还原：

通过这个索引矩阵，可以实现完整图和非完整图之间的转换，

在第二种情况下， $O^{(i)}$ 将图 $Z^{(i)}$ 扩展为 $\hat{Z}^*$ ，其中 $\hat{Z}^*$ 与 $Z^*$ 具有相同的维度大小，但与视图 $i$ 的无关项都为零。
通过这种处理方法，由于图的大小和视图之间的相似度大小存在差异，直接将多个图相加是不合理的。因此，接下来的目标是将多个信息整合到一个具有自适应学习权值的完整图中。借助索引矩阵，可以从 $Z^*$ 中提取相关元素。然后，可以自适应地将多个 $Z^{(i)}$ 融合成一个具有自动学习权值 $\alpha_i$ （它被自动学习和优化，以说明第 $i$ 个视图的重要性。）的完整图：

通过这种方式，通过不完全图的加权组合来学习完整图。此外，随着有益信息的融合，不同视图、噪声和个体视图中的异常值之间的不一致性也被整合到完整的图中。考虑到这一点，需要在 $Z^*$ 上增加一个附加的稀疏约束（ $l_1$ 正则）。

其中， $λ1$ 和 $λ2$ 是非负的权衡参数。总的来说，在提出的框架中，包含四个术语：（1）使用semi-NMF来获取潜在的视图表示，（2）通过自表示来构建图，（3）自适应融合以及（4）稀疏正则化。最终，得到了个包含潜在子空间中所有样本信息的全尺寸图 $Z^*$ 。