6 聚类-Kmean算法

聚类问题------非监督算法

本次使用了K-Mean算法自动进行簇分类,给出的2D训练集，要求进行分类。
K-mean算法过程：
1、首先随机初始化K个质点中心,然后算出每个样本点 $x_i$ ，计算距离最近那个质点中心，并赋值 $c_i$ =最近质点中心索引值。这样我们就把每个样本点 $x_i$ 第一次按 $c_i$ 进行分类。
2、更新质点中心K的值：将分类好的 $x_i$ 求它们的均值，并用均值来更新质点中心。
重复以上操作，直至中心簇点不在更新

误差因素：

1、以均值为中心簇更新，可能会由于簇中含有异常点，从而导致均值偏离严重
2、中心簇的初始选择，也会影响聚类结果（可以选择K-mean++选选初值）

实现过程

1、提取数据集
2、计算每个结点距离最近中心簇
3、更新每个中心簇
4、可视化处理数据
5、循环执行2,3函数，最后可视化处理数据

代码：

import numpy as np
import matplotlib.pyplot as plt
from scipy.io  import loadmat
#提取数据
def obtain():
    mat=loadmat('DATA\ex7data2.mat')
    return mat['X']
X=obtain()
#初始化中心簇
init_Centroids=np.array([[3,3],[6,2],[8,5]])

#求出最近的中心簇
def findClostestCentroides(X,Centroides):
    idx=[]
    for i in range(len(X)):
        jian=X[i]-Centroides
        dist=jian[:,0]**2+jian[:,1]**2  #(3,1)
        idx_min=np.argmin(dist)    #从列向量中选择最小值的索引值
        idx.append(idx_min)
    return np.array(idx)               #每个样本数据都分配了属于的中心簇

这里的X是(300,2),而Centroides是(3,2)
X[i]-Centroides,X[i]取每一行的一个点(1,2)-Centroides中心簇中每个点(3,2)。 (1,2)-(3,2)[都是array类型]是可以减的，就得到了差值。


# 计算每个节点簇中心
def computercenter(X,idx):
    Centroids = []
    for i in range(len(np.unique(idx))):
        u_k=X[idx==i].mean(axis=0)      #计算平均值(技巧)
        Centroids.append(u_k)
    return np.array(Centroids)

这里的u_k=X[id==i].mean(axis=0),我的理解是首先i就是聚类类别个数而id是我利用findClostestCentroides函数求得它与X维度一样(300,1),id==i会在id相应位置上等于i地方写True，其他地方是False,X[id==i]表示了id在True位置上的值，然后对这些相同簇的 $x_i$ 取均值给 $u_k$ (新的中心簇点)

#K-mean 可视化数据，并自着色
def  plotData(X,centroids,idx=None):
    colors=['gold','tomato','maroon','navy']
    assert len(centroids[0])<=len(colors)
    subx=[] #分号类的样本点
    if idx is not None:
        for i in range(centroids[0].shape[0]): #这传入的是centroids_all
            x_i=X[idx==i]
            subx.append(x_i)
    else:
        subx=[X]
    plt.figure(figsize=(8,5))
    ##画出每个簇中样本点群
    for i in range(len(subx)):
        xx=subx[i]
        plt.scatter(xx[:,0],xx[:,1],c=colors[i],label='Cluster %d' %i)
    plt.legend()
    plt.grid(True)
    plt.xlabel('x1',fontsize=14)
    plt.ylabel('x2',fontsize=14)
    plt.title('Plot of X Points',fontsize=16)
    ##画出簇中心点的移动轨迹
    xx,yy=[],[]
    for centroid in centroids:
        xx.append(centroid[:,0])
        yy.append(centroid[:,1])
    plt.plot(xx,yy,'rx--',markersize=7)
    plt.show()

#实现K-Means算法
def runKmeans(X,centroids,max_itens):
    centroids_i=centroids
    centroids_all=[]
    centroids_all.append(centroids)     #[[3,2]]
    for i in range(max_itens):
        # 求出最近的中心簇
        idx=findClostestCentroides(X,centroids_i)
        # 计算平均值
        centroids_i=computercenter(X,idx)
        centroids_all.append(centroids_i)      #[[3,2]...[3,2]]()max_itens个
    plotData(X,centroids_all,idx)
runKmeans(X,init_Centroids,7)

实现结果

Raw Data（原始数据）

图片.png

handled Data (处理数据)

图片.png

2、随机初始化带来误差

def initCentroids(X,K):
    m,n=X.shape
    idx=np.random.choice(m,K)
    centroids=X[idx]
    return centroids
for i in range(5):
    centroids=initCentroids(X,3)
    idx,centroids_all=runKmeans(X,centroids,10)
    plotData(X,centroids_all,idx)

图片1.png

图片2.png

图片3.png

6 聚类-Kmean算法