聚类算法
- 聚类算法 是 无监督学习
聚类算法有特征，无标签，是无监督分类。
- sklearn 聚类模块
cluster.KMeans
cluster.k_means
KMeans算法
- 基本要素
簇
与 质心(
)
-
聚类算法迭代过程
聚类算法迭代过程.png - 样本点到质心的距离，采用欧几里得距离
- 所有样本点到 质心距离和
- k-means复杂度
非常的慢
- sklearn k-means算法
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
# 自己创建数据集
X,y = make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
# 作图
fig,ax1 = plt.subplots(1)
ax1.scatter(X[:,0],X[:,1],marker='o',s=8)
plt.show()
作图1.png
from sklearn.cluster import KMeans
n_clusters = 4
cluster = KMeans(n_clusters=n_clusters,random_state=0).fit(X)
y_pred = cluster.labels_
# 查看预测标签
y_pred
centroid = cluster.cluster_centers_
# 查看质心未知
centroid
inertia = cluster.inertia_
# 查看 欧几里得距离
inertia
# 作图
color = ["red","pink","orange","gray"]
fig,ax1 = plt.subplots(1)
for i in range(n_clusters):
ax1.scatter(X[y_pred==i,0],X[y_pred==i,1],marker='o',s=8,c=color[i])
ax1.scatter(centroid[:,0],centroid[:,1],marker="x",s=15,c="black")
plt.show()
图2.png
聚类算法模型评估指标
- 簇内差异越小，簇外差异越大 越好
真是标签已知：互信息分，V-measure，调整蓝德系数
- 真实标签未知的情况
轮廓系数计算
,
红与红的距离，
红与黑的距离，
- 轮廓系数法代码
from sklearn.metrics import silhouette_score
from sklearn.metrics import silhouette_samples
silhouette_score(X,y_pred)
# 0.6505186632729437
silhouette_samples(X,y_pred).shape
# (500,)
- 卡林斯基-哈拉巴斯指数（越高越好）,运算更快
from sklearn.metrics import calinski_harabasz_score
calinski_harabasz_score(X,y_pred)
# 2704.4858735121097
