1.聚类是针对给定的样本，依据它们属性的相似度或距离，将其归并到若干个 “类” 或 “簇” 的数据分析问题。一个类是样本的一个子集。直观上，相似的样本聚集在同类，不相似的样本分散在不同类。
2.距离或相似度度量在聚类中起着重要作用。
常用的距离度量有闵可夫斯基距离，包括欧氏距离曼哈顿距离、切比雪夫距离、、以及马哈拉诺比斯距离。常用的相似度度量有相关系数、夹角余弦。 用距离度量相似度时，距离越小表示样本越相似；用相关系数时，相关系数越大表示样本越相似。
3.层次聚类假设类别之间存在层次结构，将样本聚到层次化的类中层次聚类又有聚合或自下而上、分裂或自上而下两种方法。
聚合聚类开始将每个样本各自分到一个类；之后将相距最近的两类合并，建立一个新的类，重复此操作直到满足停止条件；得到层次化的类别。分裂聚类开始将所有样本分到一个类；之后将已有类中相距最远的样本分到两个新的类，重复此操作直到满足停止条件；得到层次化的类别。
聚合聚类需要预先确定下面三个要素：
（1）距离或相似度； （2）合并规则； （3）停止条件。
根据这些概念的不同组合，就可以得到不同的聚类方法。
4.k-means聚类是常用的聚类算法，有以下特点。基于划分的聚类方法；类别数k事先指定；以欧氏距离平方表示样本之间的距离或相似度，以中心或样本的均值表示类别；以样本和其所属类的中心之间的距离的总和为优化的目标函数；得到的类别是平坦的、非层次化的；算法是迭代算法，不能保证得到全局最优。
k均值聚类算法，首先选择k个类的中心，将样本分到与中心最近的类中，得到一个聚类结果；然后计算每个类的样本的均值，作为类的新的中心；重复以上步骤，直到收敛为止。
数据集采用sklearn中已有的数据集- Fisher的鸢尾花数据（适用于分类问题），参考官网 http://scikit-learn.org/stable/modules/classes.html#module-sklearn.datasets
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）中的哪一品种。
代码1
import numpy as np
import matplotlib.pyplot as plt
import math
import random
from sklearn import datasets, cluster
# kmeans聚类
class MyKmeans:
# k是聚类数，n是迭代次数
def __init__(self, k, n=20):
self.k = k
self.n = n
def fit(self, x, centers=None):
# 指定或随机选择k个点作为初始类中心
if centers is None:
idx = np.random.randint(low=0, high=len(x), size=self.k)
centers = x[idx]
inters = 0
while inters < self.n:
points_set = {key: [] for key in range(self.k)}
# 遍历所有的点p,将p放入最近的聚类中心的集合
for p in x:
nearest_index = np.argmin(np.sum((centers - p) ** 2, axis=1) **0.5)
points_set[nearest_index].append(p)
# 遍历每一个点集，计算新的类中心 每类的平均值
for i_k in range(self.k):
centers[i_k] = sum(points_set[i_k]) / len(points_set[i_k])
inters += 1
return points_set, centers
iris = datasets.load_iris()
gt = iris['target']
data = iris.data[:, :2]
m = MyKmeans(3)
points_set, centers = m.fit(data)
# 可视化 3类数据集
data1=np.asarray(points_set[0])
data2=np.asarray(points_set[1])
data3=np.asarray(points_set[2])
for ix, p in enumerate(centers):
plt.scatter(p[0],p[1],color='C{}'.format(ix),marker='d',edgecolor='black',s=256)
plt.scatter(data1[:,0],data1[:,1],color='g')
plt.scatter(data2[:,0],data2[:,1],color='b')
plt.scatter(data3[:,0],data3[:,1],color='r')
plt.xlim(4,8)
plt.ylim(1,5)
plt.show()
聚类结果
代码2-using sklearn
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=3, max_iter=100).fit(data)
gt_labels_ = kmeans.labels_
centers_ = kmeans.cluster_centers_
确定k值
from sklearn.cluster import KMeans
loss=[]
for i in range(1,10):
kmeans = KMeans(n_clusters=i, max_iter=100).fit(data)
loss.append(kmeans.inertia_ / len(data) /3)
plt.plot(range(1,10),loss)
plt.show()
