Li G, Guo F, Han K, et al. Neighbouring Constraint Deep Matrix Factorization for Sequential Multi-view Clustering[C]//2020 2nd International Conference on Machine Learning, Big Data and Business Intelligence (MLBDBI). IEEE, 2020: 548-551.
摘要翻译:
多视图聚类(MVC)的目的是将一组多源数据划分为它们的潜在的组。为了提高聚类的性能,如何探索更好的表示是很重要的。本文提出了一种带有特征融合的深度矩阵分解模型来处理序列多视图聚类问题。该方法引入了嵌入相邻约束,逐层查找每个视图中的类簇边界信息,并可以获得MVC的聚合输出表示。实验表明,该模型极大地提高了聚类性能,可应用于运动分割等应用。
Multi-view clustering (MVC) aims to integrate multiple feature sets together, and uncover the consistent latent information from different views to achieve perfect clustering performance [1-2].
模型浅析
前序的数据集的设定和符号的表示和常用的模型是一致的,如下:这里将不赘述。
逐层分解的过程如下:
每一层的分解得到不同类型和不同层级的基础矩阵,和各层的特征表示形式。对于各层而讲,每个都可以作为user cluster matrix。
作者的改进是在每一层中应用了结构正则化项,并引入了近邻约束正则化项去探索每层特征表示中的类簇边界信息;在之后的分解过程中,每个视图的聚类结构都会被加强,在最终的分解中,可以在每个视图中获得有效的多样化表示。整个模型可以形式化为:
其中是结构正则化项。是第层表示,它表示第个视图的第层分量。是trade-off参数用来控制正则化项的权重。是视图的权重系数,在模型的构造中,作者使得各权重系数加和为。同来控制权重分布。
在引入近邻约束信息前,作者给出了一个假设:“每个视图中相邻点之间有很高的相似性;点越近,相似性越高,并且只会在顺序数据中集群的边界上突然发生变化。”由此,作者在式(2)中,设计了一个(n×n-1)维的矩阵,该矩阵是一个下三角矩阵,在对角线上取值,在第二条对角线上取值:
由矩阵可以将式(2)中的正则化项表示为:
因此,对于给定个类簇的先验知识,理想状态下,应该只含有个非零的列。所以,作者在正则化项的部分同时引入了和范数直接惩罚每一列,以寻求共同的聚类结构并保持的稀疏性。
模型的优化
因为该模型非凸,因此要得到最优解是不切实际的,由此作者只能使用局部最优解来做模型的最优解。首先,对该模型进行了预训练,也就是对每个视图的输入矩阵进行了层的矩阵分解。
- 关于的更新
通过在第层的第个视图中固定其余的变量来最小化相对于的目标值。
红色线的部分在公式中并未出现,不知道是否是作者的笔误。且在的表示在我的理解中应该是矩阵相乘的形式。
不知道这里作者想表达的是否是这样,还是通俗意义上的拼接操作。??
- 其他参数更新
因为个人比较菜,所以无法给出这里的解释
聚类
通过深度矩阵分解模型分解后,不同的表示从第个视图的个分量中获得共同的聚类结构信息。将不同视图的信息进行拼接可以得到:
然后利用k-NN算法对建立的图进行谱聚类,得出最后聚类结果。
整体文章针对于有序列性的数据,自然的提出了近邻表示之间的差异不大,除非该位置有语义的突变。该思想,如果在将篇章级别的文本进行切分聚类时,每个句子作为token的输入可以使用。