K-均值算法概述
回顾前面总结的分类和回归算法,它们都有预期的目标变量,即:“对于输入数据x能预测y”,也因此这类算法统称为监督学习算法。而无监督学习算法寻求解决的问题是“从数据x中能发现什么?”,并且无监督学习算法最好还能够解释“被发现的是合理的”。
聚类(Clustering)是一种无监督的学习,它将相似的对象归到同一个簇中,有点像对数据进行全自动分类,这里的全自动真是“全自动”,因为连类别都是自动构建的,而不是像分类算法那样事先给出的。
K-均值(K-means)算法又是聚类算法之一,之所以称之为K-均值是因为它可以发现k个不同的簇,且每个簇的中心采用簇中所有数据的均值计算生成。
优点:容易实现。
缺点:可能收敛到局部最小值,在大规模数据集上收敛较慢。
适用数据类型:数值型数据。
入门案例
为便于理解K-均值算法是什么及其原理,首先构建了模拟数据,然后用图形展示效果(就不讲解代码是怎么实现的了),请看下图。
工作原理
使用K-均值聚类算法,必须指定要创建的簇的数目k(就是最终分类的数量,个人理解,如果该值是人工指定的,那么是否是最好的,就需要根据结果来评判,必要时调整再算)。
K-均值算法首先从数据集中随机选择k个作为质心。算法会计算每个点到质心的距离。每个点会被分配到距其最近的簇质心,然后紧接着基于新分配到簇的点更新簇质心。以上过程重复数次,直到簇质心不再改变。
上述算法简单有效,但是容易受到初始(随机选择的)簇质心的影响。为了获得更好的聚类效果,可以使用更优的二分K-均值聚类算法。该算法首先将所有的点作为一个簇,然后使用K-均值算法(k=2)对其划分。下一次迭代时,选择有最大误差的簇进行划分。该过程重复直到k个簇创建成功为止。
K-均值算法以及其变种算法并非仅有的聚类算法,另外称为层次聚类的方法也被广泛使用。
一般流程
1.收集数据:使用任意方法。
2.准备数据:需要数值型数据来计算距离,也可以将标称型数据映射为二值型数据再用于距离计算。
3.分析数据:使用任意方法。
4.训练算法:不适用于无监督学习,即无监督学习没有训练过程。
5.测试算法:应用聚类算法、观察结果。可以使用量化的误差指标如误差平方和来评价算法的结果。
6.使用算法:可以用于所希望的任何应用。通常情况下簇质心可以代表整个簇的数据来做出决策。
可使用场景
1.根据客户特征进行聚类
2.根据地理位置(经纬度)进行聚类
......