Park S, Han S, Kim S, et al. Improving unsupervised image clustering with robust learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 12278-12287.

摘要导读

无监督图像聚类方法经常引入替代目标来间接训练模型，受到了faulty predictions and overconfident results的影响。为了克服这些挑战，目前的研究提出了一种灵感来自于鲁棒学习的创新模型RUC。提出的RUC模型的新颖之处在于利用现有图像聚类模型输出的伪标签作为一个可能包含错误分类样本的噪声数据集。其再训练过程可以修正错位的知识，缓解预测中的overconfident问题。该模型的灵活结构使其可以作为其他聚类方法的附加模块使用，并帮助它们在多个数据集上获得性能的提升。大量实验表明，该模型可以通过更好的校准来调整模型的置信度，并使得模型有对抗性噪声的鲁棒性。

整个过程可以概括为：使用现有无监督聚类方法对无标签数据进行聚类标签的预测，利用一定的采样策略（类似于主动学习中对样本的选择策略），构建clean data（有标签数据）及unclean data（无标签数据），然后利用半监督方法对样本重新进行标签的预测更新，进入下一轮迭代中...

MixMatch储备知识

MixMatch损失半监督领域毕竟经典且权威的算法，已经有大佬对其算法进行了阐述，这里给出链接。MixMatch

模型浅析

RUC是一种附加方法，可以与现有的无监督聚类方法结合使用，以实现对错误的预测进行改进。其关键思想是利用初始聚类结果作为噪声伪标签，然后通过一系列聚类假设和鲁棒学习技术来对这些预测标签进行修正。

划分clean data和unclean data

给定数据集,为图像样本，是其对应的伪标签。首先需要使用模型将数据集划分为两个完全不相交的子集。这里认为是clean的，其伪标签是中等可信的，因此可以用作一个标记的数据集进行训练。而那些unclean的样本因为对应的标签的置信度较低被丢弃，这些样本形成的集合为。作者这里使用了三种采样的方式：
（1）Confidence-based strategy
该方法基于无监督分类器的置信度得分来选择clean样本。给定任意，若其软分配满足，那么将其划分到clean样本集合中。
（2）Metric-based strategy
基于度量的方法利用了在无监督方式学习的额外嵌入网络。给定任意，首先计算其嵌入表示，然后利用非参模型k-NN来得出。如果其原始的软分配表示满足，那么被纳入集合。
（3）Hybrid strategy
综合以上两种采样方式，若其对应的条件同时满足，则纳入clean data，否则纳入unclean data。

Retraining via Robust Learning

给定和，下一步的目标是训练改进的分类器，以修正初始无监督分类器的错误预测。
将和分别看做标记数据和无标记数据，做半监督聚类。在本文中使用的是经典半监督算法MixMatch，其过程可简化表示为：

• 为了避免overfitting带来的错误，在模型的设计中另外引入了一个共同训练模块，其中两个网络，并行训练，通过增加一个co-refinement步骤来交换彼此的预测结果。co-refinement是一种标签修正的过程，旨在通过合并两个网络的预测来产生可靠的标签。
  
  本文对每个网络和都应用了co-refinement。
  这里作者从的角度出发，进行了介绍。
  （1）对于给定的标记的数据，首先计算中原始标记和对应网络的预测之间的线性和，并使用sharpen来得出对应修正之后的：
  是对应的置信值。
  （2）对于未标记集，应用两个网络的预测集合来猜测数据样本的伪标记如下:
  是基于的第-th个弱数据增强（和原始样本较为类似）。
  通过co-refinement，可以得到原始MixMatch的代替数据，得到修正的和。使用这些数据作为MixMatch的输入
  可以看出，这是从的角度出发，得到的损失函数。同理，可以得到关于的损失函数。
• Co-refurbishing
  最后，我们在每个epoch结束时刷新噪声样本，以在整个训练过程中提供额外的clean样本。如果至少有一个网络对给定unclean样本的置信度超过阈值，则相应样本的标签用网络的预测更新。更新标签之后的样本随后被加入到clean data集合中。
  
  整体算法如下所示：

对于co-refinement的过程而言，可以很显然的运用在多视图数据的场景之上，可以很好的综合不同视图的聚类结果，同时使用较高置信度的样本对其余视图进行调整。可以尝试一下该手法。较为难考虑的一点是，这势必要牵扯到无监督聚类和半监督聚类的结合，是否真的需要如此大动干戈。