无监督学习-聚类：K-Means
- 有监督学习：样本数据有标签
- 无监督学习：样本数据没有标签
- 无监督学习没有训练过程，靠特征之间的差异直接预测分类结果
无监督学习的优劣
- 优点：不需要标签就可能分类预测
- 样本数据获取标签的过程非常耗费人力，成本非常高
- 数据标注：人工智能行业的搬砖工作
- 缺点：预测准确率相比训练算法低很多
import numpy as np
import matplotlib.pyplot as plt
随机创建一些二维数据作为训练集
from sklearn.datasets.samples_generator import make_blobs
# X为样本特征
# Y为样本标签，簇类别
# 共1000个样本，每个样本2个特征
# 共4个簇，
# 簇中心在[-1,-1], [0,0],[1,1], [2,2]，
# 簇方差分别为[0.4, 0.2, 0.2]
X, y = make_blobs(
n_samples=1000,
n_features=2, # 2个特征，二维，方便可视化
centers=[[-1,-1], [0,0], [1,1], [2,2]],
cluster_std=[0.4, 0.2, 0.2, 0.2],
random_state=9 # 随机数种子，保证每次运行生成的结果一样
)
X
array([[-8.41028464e-01, -3.36118553e-01],
[-1.78355178e-03, 3.07827932e-01],
[ 8.28954868e-01, 1.00510410e+00],
...,
[-1.63916905e-01, -2.22806370e-01],
[ 2.29264700e+00, 2.01264954e+00],
[-9.69725851e-01, -1.08219369e+00]])
X.shape
(1000, 2)
# 标签用来测试预测结果的正确率，（没有模型训练这一步）
y[:10]
array([0, 1, 2, 1, 0, 3, 1, 2, 0, 3])
可视化
plt.scatter(X[:, 0], X[:, 1], alpha=0.1)
<matplotlib.collections.PathCollection at 0x9f4a208>
output_8_1.png
# 散点图可以用参数c，单独标识每个对应散点的颜色
plt.scatter(np.arange(10), np.arange(10), c=[0,1,2,3,4,5,6,7,8,9])
<matplotlib.collections.PathCollection at 0x9fecba8>
output_9_1.png
可视化验证正确的聚类效果
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y)
<matplotlib.collections.PathCollection at 0xb009ef0>
output_11_1.png
用K-Means聚类方法做聚类，首先选择聚类结果k=2
from sklearn.cluster import KMeans
y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(X) # random_state是随机数种子，保证每次相同算法参数返回的结果一样
y_pred[:10]
array([0, 0, 1, 0, 0, 1, 0, 1, 0, 1])
# 可视化
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y_pred)
<matplotlib.collections.PathCollection at 0xb6e7358>
output_15_1.png
# 用Calinski-Harabasz Index评估聚类结果，打分
# 当特征维度大于2，我们无法直接可视化聚类效果来肉眼观察时，用Calinski-Harabaz Index评估是一个很实用的方法
from sklearn import metrics
metrics.calinski_harabaz_score(X, y_pred)
3116.1706763322227
k=3
y_pred = KMeans(n_clusters=3, random_state=9).fit_predict(X)
y_pred[:10]
array([2, 0, 1, 0, 2, 1, 0, 1, 2, 1])
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y_pred)
<matplotlib.collections.PathCollection at 0xb73a828>
output_19_1.png
metrics.calinski_harabaz_score(X, y_pred)
2931.625030199556
k=4
y_pred = KMeans(n_clusters=4, random_state=9).fit_predict(X)
y_pred[:10]
array([2, 0, 3, 0, 2, 1, 0, 3, 2, 1])
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y_pred)
<matplotlib.collections.PathCollection at 0xb7950f0>
output_23_1.png
metrics.calinski_harabaz_score(X, y_pred)
5924.050613480169
k=5
y_pred = KMeans(n_clusters=5, random_state=9).fit_predict(X)
y_pred[:10]
array([4, 1, 2, 1, 3, 0, 1, 2, 4, 0])
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y_pred)
<matplotlib.collections.PathCollection at 0xb7e7588>
output_27_1.png
metrics.calinski_harabaz_score(X, y_pred)
5401.762578339217
k=5比k=4分数下降了，基本认定k=4是最佳值
循环不同k结果，一次运算得出结果
plt.figure(figsize=(18, 18))
for i in range(2, 11): # k值从2开始
# print(i)
plt.subplot(3, 3, i-1) # 9张子图
y_pred = KMeans(n_clusters=i, random_state=9).fit_predict(X) # 预测标签
plt.scatter(X[:, 0], X[:, 1], alpha=0.2, c=y_pred) # 可视化
r = metrics.calinski_harabaz_score(X, y_pred) # 计算分数
plt.title('k={}, grade={:.2f}'.format(i, r))
output_31_0.png
