Ghasedi Dizaji K, Herandi A, Deng C, et al. Deep clustering via joint convolutional autoencoder embedding and relative entropy minimization[C]//Proceedings of the IEEE international conference on computer vision. 2017: 5736-5745.
摘要翻译
论文提出了一个新的聚类模型---DEeP Embedded RegularIzed ClusTering (DEPICT)，它可以有效的学习具有辨别性的嵌入子空间并且进行精准的聚类分配。DEPICT通常由一个堆叠在一个多项式逻辑回归函数上的多层卷积自编码器组成。模型使用相对熵(KL散度)最小化定义了一个聚类目标函数，并通过先验的聚类分配频率进行正则化。然后，通过更新参数和估计聚类分配，推导出一种交替策略来优化目标。此外，使用自编码器中的重构损失函数，作为一个数据相关的正则化项，以防止深度嵌入函数的过拟合。为了受益于端到端优化，消除层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有的网络层。实验结果表明，描述在真实聚类任务中具有优越性和更快的运行时间。
作者在intro总结了当前聚类存在的几点问题：
(1)使用不灵活的hand-crafted features（并不依赖于输入数据的分布）
(2)使用浅层和线性的嵌入函数，不能捕获数据的非线性性质
(3) 学习嵌入和聚类的过程并不是联合的，没法得到聚类的最佳嵌入子空间
(4)复杂的聚类算法需要使用标记数据来调整超参数，这在现实的聚类任务中是不可行的
DEPICT利用了判别聚类方法和深度嵌入模型的优势，缓解上述问题。DEPICT通常由两个主要部分组成，即堆叠在多层卷积自编码器之上的逻辑回归（soft-max）层和卷积自编码器本身。
总体的优势可以概括为：
- 可以通过深度卷积自编码器提供一个具有判别性的非线性嵌入子空间；
- 引入了一种端到端联合学习方法，统一了聚类和嵌入任务，避免了层预训练；
- 在高维和大规模的数据集上实现优越的或有竞争力的聚类结果，而不需要使用标记数据进行超参数调优。
模型浅析（ Deep Embedded Regularized Clustering）
首先介绍模型中涉及到的损失函数和相关优化方法，交替进行聚类分配和参数优化。然后，介绍联合训练的模型结构。
DEPICT Algorithm
和所有的自编码结构模型一样，将原始样本表示通过嵌入函数得到低维的表示
。给定学习到的嵌入特征，使用多项式逻辑回归（soft-max）函数
预测聚类分配的概率
。
为了定义聚类目标函数，使用辅助目标变量迭代细化模型预测
。因为
和
显然都是样本到类簇的一个概率状况，因此可以理解为分布概率。为此，作者首先使用KullbackLeibler(KL)散度来减少模型预测
与目标变量
之间的距离。(这一点与DEC中使用是一致的)
为了避免 “退化解” 将大部分样本分配给几个簇或分配给离群样本，作者采用了对目标变量施加一个正则化项以达到缓解或类簇平衡的目的。为此，首先将目标变量的经验标签分布定义为：
其中，
目标函数中的第一项使目标和模型预测分布之间的距离最小化，而第二项平衡了目标变量中簇的频率。利用平衡的目标变量，我们可以间接地迫使模型有更平衡的预测（聚类分配）
整个模型采用一种交替学习的方法来优化目标函数。使用这种方法，我们通过固定参数（E步骤）估计目标变量，并在假设目标变量
已知时更新参数（M步骤）。因此：推断目标变量
的问题有以下目标：
对于M-step，我们使用估计的目标变量
对于该目标函数，作者也给出了有趣的解释。这个问题可以作为分类任务的标准交叉熵损失函数，可以有效地使用反向传播对soft-max层和嵌入函数
的参数进行更新学习。
DEPICT Architecture
该节作者使用去噪自编码器扩展了一般的聚类损失函数。深度嵌入函数（ deep embedding function）对于捕获输入数据的非线性特性很有用；然而，它可能会过度拟合的数据相关性，并在训练期间陷入不理想的局部最小值 。为了避免这种过拟合，论文采用了自编码器结构，并使用重构损失函数作为数据相关的正则化来训练参数。DEPICT设计为包括一个soft-max层堆叠在多层卷积自编码器上。由于strided卷积层具有良好的性能，`模型在编码器中使用卷积层，在解码器路径中使用strided卷积层，避免使用确定性的空间池化层的使用（如最大池化）。
Strided convolutional layers allow the network to learn its own spatial upsampling, providing a better generation capability.
与去噪自动编码器的标准学习方法（包含一层的预训练，然后进行微调）不同，我们同时学习所有的自动编码器和soft-max层。
由模型图可以看出，DEPICT包括几个组件：
- Corrupted (noisy) feedforward (encoder) pathway 将噪声输入数据映射（卷积层+全连接层）到嵌入子空间。其中
是第
层的噪声特征，Dropout是一个随机Mask函数，它随机将其输入的一个子集设置为零，
是卷积或全连接层的激活函数 ，
表示编码器中第
等于有噪声的输入数据
。
- 在Corrupted encoder之下，decoder pathway通过一个全链接层和多个strided卷积层重构输入数据：其中，
是第
显示了解码器的第
。
- Clean feedforward (encoder) pathway与 corrupted encoder共享权重，并推断出 clean embedded features。下面公式显示了Clean feedforward (encoder) 的输出，用于重建损失函数和获得最终的聚类分配。其中
是encoder中第
。
- 给定Corrupted encoder和Clean feedforward (encoder) pathway顶层作为嵌入子空间，soft-max层使用Eq(1).获得聚类分配。
note:论文中使用Clean feedforward (encoder) pathway计算目标变量，并通过Corrupted (noisy) feedforward (encoder) pathway建立模型预测
。因此，聚类损失函数
迫使模型具有关于噪声的不变特征。换句话说，模型被假设具有双重作用：使用Clean feedforward (encoder)计算更准确的目标变量；Corrupted (noisy) feedforward (encoder)，经过训练以实现噪声不变预测。
算法的整体流程如下：
据说效果可以达到如下：
论文代码地址： https://github.com/herandy/DEPICT
关于论文的阅读记录两点，
- 作者在求目标变量
的时候说到了封闭形式解，但说这个过程需要交替来进行：难道是给出由
计算的封闭解形式，每次的计算都由网络的前馈计算自然的更新
- 第二点，作者在(2)式中给出了基础的聚类损失，然后又在其中加入了有助于平衡分布的正则项。关于这一点在类簇分布不均匀的数据集中，貌似显得有点鸡肋，当然作者也说了可以进行替换，但很明显在实际的应用中，我们是无法得到数据的这个先验的。（当然这就类似于我们在聚类之前知道类簇个数一样。。。很无语，但必须）
