聚类问题------非监督算法
本次使用了K-Mean算法自动进行簇分类,给出的2D训练集，要求进行分类。
K-mean算法过程：
1、首先随机初始化K个质点中心,然后算出每个样本点，计算距离最近那个质点中心，并赋值
=最近质点中心索引值。这样我们就把每个样本点
第一次按
进行分类。
2、更新质点中心K的值：将分类好的求它们的均值，并用均值来更新质点中心。
重复以上操作，直至中心簇点不在更新
误差因素：
1、以均值为中心簇更新，可能会由于簇中含有异常点，从而导致均值偏离严重
2、中心簇的初始选择，也会影响聚类结果（可以选择K-mean++选选初值）
实现过程
1、提取数据集
2、计算每个结点距离最近中心簇
3、更新每个中心簇
4、可视化处理数据
5、循环执行2,3函数，最后可视化处理数据
代码：
import numpy as np
import matplotlib.pyplot as plt
from scipy.io import loadmat
#提取数据
def obtain():
mat=loadmat('DATA\ex7data2.mat')
return mat['X']
X=obtain()
#初始化中心簇
init_Centroids=np.array([[3,3],[6,2],[8,5]])
#求出最近的中心簇
def findClostestCentroides(X,Centroides):
idx=[]
for i in range(len(X)):
jian=X[i]-Centroides
dist=jian[:,0]**2+jian[:,1]**2 #(3,1)
idx_min=np.argmin(dist) #从列向量中选择最小值的索引值
idx.append(idx_min)
return np.array(idx) #每个样本数据都分配了属于的中心簇
这里的X是(300,2),而Centroides是(3,2)
X[i]-Centroides,X[i]取每一行的一个点(1,2)-Centroides中心簇中每个点(3,2)。 (1,2)-(3,2)[都是array类型]是可以减的，就得到了差值。
# 计算每个节点簇中心
def computercenter(X,idx):
Centroids = []
for i in range(len(np.unique(idx))):
u_k=X[idx==i].mean(axis=0) #计算平均值(技巧)
Centroids.append(u_k)
return np.array(Centroids)
这里的u_k=X[id==i].mean(axis=0),我的理解是首先i就是聚类类别个数而id是我利用findClostestCentroides函数求得它与X维度一样(300,1),id==i会在id相应位置上等于i地方写True，其他地方是False,X[id==i]表示了id在True位置上的值，然后对这些相同簇的取均值给
(新的中心簇点)
#K-mean 可视化数据，并自着色
def plotData(X,centroids,idx=None):
colors=['gold','tomato','maroon','navy']
assert len(centroids[0])<=len(colors)
subx=[] #分号类的样本点
if idx is not None:
for i in range(centroids[0].shape[0]): #这传入的是centroids_all
x_i=X[idx==i]
subx.append(x_i)
else:
subx=[X]
plt.figure(figsize=(8,5))
##画出每个簇中样本点群
for i in range(len(subx)):
xx=subx[i]
plt.scatter(xx[:,0],xx[:,1],c=colors[i],label='Cluster %d' %i)
plt.legend()
plt.grid(True)
plt.xlabel('x1',fontsize=14)
plt.ylabel('x2',fontsize=14)
plt.title('Plot of X Points',fontsize=16)
##画出簇中心点的移动轨迹
xx,yy=[],[]
for centroid in centroids:
xx.append(centroid[:,0])
yy.append(centroid[:,1])
plt.plot(xx,yy,'rx--',markersize=7)
plt.show()
#实现K-Means算法
def runKmeans(X,centroids,max_itens):
centroids_i=centroids
centroids_all=[]
centroids_all.append(centroids) #[[3,2]]
for i in range(max_itens):
# 求出最近的中心簇
idx=findClostestCentroides(X,centroids_i)
# 计算平均值
centroids_i=computercenter(X,idx)
centroids_all.append(centroids_i) #[[3,2]...[3,2]]()max_itens个
plotData(X,centroids_all,idx)
runKmeans(X,init_Centroids,7)
实现结果
Raw Data（原始数据）
图片.png
handled Data (处理数据)
图片.png
2、随机初始化带来误差
def initCentroids(X,K):
m,n=X.shape
idx=np.random.choice(m,K)
centroids=X[idx]
return centroids
for i in range(5):
centroids=initCentroids(X,3)
idx,centroids_all=runKmeans(X,centroids,10)
plotData(X,centroids_all,idx)
图片1.png
图片2.png
图片3.png
