优势
高效性
单遍聚类的核心思想是对数据进行一次遍历,在遍历过程中动态地进行聚类,时间复杂度相对较低,通常为 ,非常适合处理大规模数据。对于亿级规模的企业数据,单遍聚类可以在较短的时间内完成初步的聚类和去重工作。
简单易实现
单遍聚类算法的原理简单,实现起来相对容易,不需要复杂的参数调整和迭代过程。这使得在面对大规模数据处理时,开发和维护成本较低。
局限性
聚类质量依赖初始顺序
单遍聚类的结果会受到数据输入顺序的影响。如果数据的初始顺序不同,可能会得到不同的聚类结果。这在一定程度上影响了聚类的稳定性和准确性。
缺乏全局优化
单遍聚类是一种贪心算法,它只考虑当前数据点与已有聚类的相似度,而没有从全局的角度进行优化。因此,可能会导致一些相似的数据点没有被正确地聚到同一类中,影响去重的效果。
规避局限性的方法
规避聚类质量依赖初始顺序的方法
多次随机排序处理
原理:对原始数据进行多次随机排序,每次排序后都进行单遍聚类,最后综合多次聚类的结果。例如,可以通过多数投票的方式确定每个数据点最终所属的聚类。
预排序数据
原理:根据数据的某些特征对数据进行预排序,使得相似的数据点尽可能靠近。例如,对于企业数据,可以按照企业名称的字母顺序、统一社会信用代码的数值顺序等进行排序。
规避缺乏全局优化的方法
后处理优化
原理:在单遍聚类完成后,对聚类结果进行后处理。例如,可以计算每个聚类的中心,然后重新评估每个数据点与所有聚类中心的相似度,将数据点重新分配到更合适的聚类中。
结合其他聚类算法
原理:将单遍聚类作为初步聚类方法,然后使用更具全局优化能力的聚类算法(如 K - Means、DBSCAN 等)对初步聚类结果进行细化。例如,先使用单遍聚类快速将数据分为大致的类别,然后使用 K - Means 对每个类别进行进一步的细分和优化。