铛铛铛，好几天没更的我又回来了，没错，俺就是那种组会前发奋努力、组会后疯狂摸鱼的卑微打工人～～～
今天，要学习的是聚类分析。
聚类分析（Clustering analysis）是一类将数据对应的研究对象进行分类的统计方法，它将若干个个体集合，按照某种标准分成若干个簇，并且希望簇内的样本尽可能地相似，而簇和簇之间要尽可能的不相似。
按照分类对象不同，聚类可分为两大类：
- 一类是按照变量对观测进行聚类，称为Q型聚类，即对样本进行聚类，通常用样本之间的距离来判断它们的关系
- 另一类是根据观测对变量进行聚类，称为R型聚类，即对变量进行聚类，变量之间的距离借助于相似系数。
同样地，我们还是通过数据集的处理来分享三种常用的聚类分析的方法。
常用聚类算法
1. k-means聚类
k-means聚类是一种快速聚类算法，它是把样本空间中的n个点划分为k个簇，适应于大样本的Q型聚类。
# 加载包
library(mclust)
library(ggplot2)
library(patchwork)
# 加载数据
data(diabetes)
# 数据标准化
diabetes_scale <- scale(diabetes[,2:4],center = TRUE,scale = TRUE)
# 计算组内平方和与组间平方和
withiness <- c()
betweeness <- c()
for(ii in 1:15){
k <- kmeans(diabetes_scale,ii)
withiness[ii] <- k$tot.withinss
betweeness[ii] <- k$betweenss
}
kmeansvalue <- data.frame(kk=1:15,withiness=withiness,betweeness=betweeness)
# 可视化聚类结果的类内平方和、类间平方和
p1 <- ggplot(kmeansvalue,aes(x = kk,y = withiness)) +
theme_bw(base_family = "STKaiti") +
geom_point() +
geom_line() +
labs(y = "value",title = "Total within-cluster sum of squares") +
theme(axis.text.x = element_text(vjust = 0.5),
plot.title = element_text(hjust = 0.5)) +
scale_x_continuous("kmeans聚类个数",kmeansvalue$kk)
p2 <- ggplot(kmeansvalue,aes(x = kk,y = betweeness)) +
theme_bw(base_family = "STKaiti") +
geom_point() +
geom_line() +
labs(y = "value",title = "Total between-cluster sum of squares") +
theme(axis.text.x = element_text(vjust = 0.5),
plot.title = element_text(hjust = 0.5)) +
scale_x_continuous("kmeans聚类个数",kmeansvalue$kk)
options(repr.plot.width=6, repr.plot.height=6)
p1/p2
## 在聚类数目k=3之前，曲线的变化趋势很大，当聚类数目大于3时，
## 这两个数值的变化范围在减少,且曲线较为平缓，
## 这说明将该数据集聚类为3个簇较合适，这个k=3为肘部点。
类内平方和、类间平方和
聚类的评估（簇数确定和轮廓系数）和可视化
# 以k=3重新聚类
set. Seed(1234)
k3 <- kmeans(diabetes_scale,3)
# 利用cluster包对聚类结果可视化
library(cluster)
clusplot(diabetes_scale,k3$cluster,main="kmean cluster number=3")
聚类结果
# 利用cluster包进行可视化轮廓图，判断聚类效果的优劣
## 轮廓系数（silhouette coefficient）是聚类效果好坏的一种评价方式。
## 它的取值范围在-1和1之间，而且越接近1，说明聚类的效果越好。
sil <- silhouette(k3$cluster,dist(diabetes_scale,method = "euclidean"))
plot(sil,main = "kmean silhouette",col = c("red","blue","green"))
轮廓系数
2. 系统聚类/层次聚类（Hierarchical clustering）
层次聚类是在不同层级上对样本进行聚类，并逐步形成树状的结构。根据层次分解是自底向上还是自顶向下可将其分为两种方式，即凝聚与分裂。
# 系统聚类及可视化
## 在计算样本间的距离时使用dist()函数，默认为欧式距离
## 参数method="ward.D2"表示簇与簇之间是否合并与分裂的度量方式
hc1 <- hclust(dist(diabetes_scale),method = "ward.D2")
hc1$labels <- paste(diabetes$class,1:145,sep = "-")
# 可视化结果
options(repr.plot.width=12, repr.plot.height=6)
par(family = "STKaiti",cex = 0.5)
plot(hc1,hang = -1)
rect.hclust(hc1,k=3,border = "red")
# 选择切比雪夫距离
hc2 <- hclust(dist(diabetes_scale,method = "maximum"),method = "ward.D2")
hc2$labels <- paste(diabetes$class,1:145,sep = "-")
# 可视化结果
options(repr.plot.width=12, repr.plot.height=6)
par(family = "STKaiti",cex = 0.5)
plot(hc2,hang = -1)
rect.hclust(hc2,k=3,border = "red")
# 选择曼哈顿距离
hc3 <- hclust(dist(diabetes_scale,method = "manhattan"),method = "ward.D2")
hc3$labels <- paste(diabetes$class,1:145,sep = "-")
# 可视化结果
options(repr.plot.width=12, repr.plot.height=6)
par(family = "STKaiti",cex = 0.5)
plot(hc3,hang = -1)
rect.hclust(hc3,k=3,border = "red")
## 选择不同的距离进行层析聚类，得到的结果没有很大的差异
欧式距离聚类结果
切比雪夫距离聚类结果
曼哈顿距离聚类结果
3. 密度聚类（Density-based clustering）
密度聚类的基本出发点是假设聚类结果可以通过样本分布的稠密程度来确定，主要目标是寻找被低密度区域分离的高密度区域。
基于距离的聚类算法的聚类结果是球状的簇，而基于密度的聚类算法的结果可以是任意形状的簇，所以对于带有噪声数据的处理比较好。
邻域的大小由半径参数eps确定，阈值由参数MinPts确定。
# 使用fpc包进行密度聚类
library(fpc)
# 在不同的eps情况下的聚类结果
model1 <- dbscan(diabetes_scale,eps=0.05,MinPts=5)
table(model1$cluster)
model2 <- dbscan(diabetes_scale,eps=0.06,MinPts=5)
table(model2$cluster)
model3 <- dbscan(diabetes_scale,eps=0.25,MinPts=5)
table(model3$cluster)
model4 <- dbscan(diabetes_scale,eps=0.27,MinPts=5)
table(model4$cluster)
model5 <- dbscan(diabetes_scale,eps=0.3,MinPts=5)
table(model5$cluster)
## 使用密度聚类时，选择合适的聚类参数非常重要，因此聚类效果很难保证。
