单遍聚类

优势

高效性

单遍聚类的核心思想是对数据进行一次遍历,在遍历过程中动态地进行聚类,时间复杂度相对较低,通常为 ,非常适合处理大规模数据。对于亿级规模的企业数据,单遍聚类可以在较短的时间内完成初步的聚类和去重工作。

简单易实现

单遍聚类算法的原理简单,实现起来相对容易,不需要复杂的参数调整和迭代过程。这使得在面对大规模数据处理时,开发和维护成本较低。

局限性

聚类质量依赖初始顺序

单遍聚类的结果会受到数据输入顺序的影响。如果数据的初始顺序不同,可能会得到不同的聚类结果。这在一定程度上影响了聚类的稳定性和准确性。

缺乏全局优化

单遍聚类是一种贪心算法,它只考虑当前数据点与已有聚类的相似度,而没有从全局的角度进行优化。因此,可能会导致一些相似的数据点没有被正确地聚到同一类中,影响去重的效果。

规避局限性的方法

规避聚类质量依赖初始顺序的方法

多次随机排序处理

原理:对原始数据进行多次随机排序,每次排序后都进行单遍聚类,最后综合多次聚类的结果。例如,可以通过多数投票的方式确定每个数据点最终所属的聚类。

预排序数据

原理:根据数据的某些特征对数据进行预排序,使得相似的数据点尽可能靠近。例如,对于企业数据,可以按照企业名称的字母顺序、统一社会信用代码的数值顺序等进行排序。

规避缺乏全局优化的方法

后处理优化

原理:在单遍聚类完成后,对聚类结果进行后处理。例如,可以计算每个聚类的中心,然后重新评估每个数据点与所有聚类中心的相似度,将数据点重新分配到更合适的聚类中。

结合其他聚类算法

原理:将单遍聚类作为初步聚类方法,然后使用更具全局优化能力的聚类算法(如 K - Means、DBSCAN 等)对初步聚类结果进行细化。例如,先使用单遍聚类快速将数据分为大致的类别,然后使用 K - Means 对每个类别进行进一步的细分和优化。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 在某些聚类任务中,可以以成对约束的形式获得有限的监督,即标记为属于相同或不同簇的实例对。由此产生的问题称为半监督聚...
    AW_5365阅读 2,676评论 0 3
  • 一、基本凝聚层次聚类 凝聚是指,算法初始时,将每个点作为一个簇,每一步合并两个最接近的簇。步骤如下: a)计算邻近...
    pengfghg阅读 2,655评论 1 0
  • 其他 这篇文章的整体排版主要是根据个人的博客来哒,如果感兴趣的话可以去我的自己搭建的个人博客看这篇文章。 正文 聚...
    DeamoV阅读 2,097评论 0 1
  • 什么是无监督学习? 无监督学习是一种在最少人类干预的情况下,在没有标签的情况下寻找数据特殊Pattern的机器学习...
    leon_kbl阅读 776评论 0 0
  • 本文从概念、应用场景、原理、工作流程、优缺点、应用实践、代码、可视化等几方面诠释 K 均值聚类模型 概述 K-Me...
    Devon的简书阅读 2,748评论 0 0

友情链接更多精彩内容