> library(pacman)
> p_load(dplyr, lle, ggplot2, plot3D, plot3Drgl)

LLE: Locally Linear Embedding，局部线性嵌入，属于流形学习(Manifold Learning)的一种，其假设数据在较小的局部是线性的，也就是说，某一个数据可以由它邻域中的几个样本来线性表示。LLE 非常适合处理卷起或扭曲状的数据。

1、LLE步骤总结

1.计算行间距，设定超参数k。
2.对一行选出其最近的k行，表示为其线性组合，该线性组合系数为权重。
3.对每行重复操作，使得数据在2或3维空间中（近乎）保持该线性组合关系。

2、准备数据

> data(lle_scurve_data, package = "lle")
> scurve <- as.data.frame(lle_scurve_data)
> str(scurve)

## 'data.frame':    800 obs. of  3 variables:
##  $ V1: num  0.955 -0.66 -0.983 0.954 0.958 ...
##  $ V2: num  4.951 3.267 1.257 1.683 0.186 ...
##  $ V3: num  -0.174 -0.773 -0.296 -0.18 -0.161 ...

> # 设置列名
> names(scurve) <- c("x", "y", "z")
> # 检查缺失值
> DataExplorer::profile_missing(scurve)

##   feature num_missing pct_missing
## 1       x           0           0
## 2       y           0           0
## 3       z           0           0

> scatter3D(x = scurve$x, y = scurve$y, z = scurve$z, pch = 19,
+           bty = "b2", colkey = F, theta = 35, phi = 10,
+           col = ramp.col(c("red", "cyan")))

数据三维图

> # 让3D图像可以用鼠标转动
> plot3Drgl::plotrgl()

3、LLE超参数

除了维数，k （近邻数量）是唯一需要确定的超参数。
K可以通过函数计算出来：calc_k()
m 表示维数，通常2 或 3；
kmin，kmax 决定 k 取值域；
parallel，是否多核运行，默认为否；
cpus 指定使用 cpu 核数；

4、降维

> llek <- calc_k(scurve, m = 2, kmin = 1, kmax = 20, parallel = T,
+                cpus = parallel::detectCores())
> # 找出使rho最小的K值
> k <- filter(llek, rho == min(llek$rho))
> k

##    k       rho
## 1 17 0.1468803

使用最优的K值，降维：

> lle.scurve <- lle(scurve, m = 2, k = k$k)

## finding neighbours
## calculating weights
## computing coordinates

> str(lle.scurve)

## List of 4
##  $ Y     : num [1:800, 1:2] 1.756 0.428 -0.944 -0.626 -1.718 ...
##  $ X     :'data.frame':  800 obs. of  3 variables:
##   ..$ x: num [1:800] 0.955 -0.66 -0.983 0.954 0.958 ...
##   ..$ y: num [1:800] 4.951 3.267 1.257 1.683 0.186 ...
##   ..$ z: num [1:800] -0.174 -0.773 -0.296 -0.18 -0.161 ...
##  $ choise: NULL
##  $ id    : NULL

使用降维后的数据画图：

> tibble(LLE1 = lle.scurve$Y[, 1],
+        LLE2 = lle.scurve$Y[, 2],
+        z = scurve$z) %>% 
+   ggplot(aes(LLE1, LLE2, col = z)) +
+   geom_point(size = 1) +
+   # 按z值大小填充渐变色
+   scale_color_gradient(low = "cyan", high = "red") +
+   theme_bw() +
+   theme(legend.position = "top")

二维图

5、练习

1.给 flea 的LLE 二维散点图上加上代表种类的椭圆。

> data(flea, package = "GGally")
> flea.scale <- flea %>% 
+   as_tibble() %>%
+   # 去掉species变量
+   dplyr::select(-species) %>% 
+   # 标准化
+   scale()
> 
> flea.k <- calc_k(flea.scale, m = 2, kmin = 1, kmax = 20, plotres = F,
+                  parallel = T, cpus = parallel::detectCores())

## Library lle loaded.
## best k: 12 16 15

> flea.lle <- lle(flea.scale, m = 2, k = filter(flea.k, rho == min(flea.k$rho))$k)

## finding neighbours
## calculating weights
## computing coordinates

> p1 <- tibble(LLE1 = flea.lle$Y[, 1],
+              LLE2 = flea.lle$Y[, 2],
+              species = flea$species) %>% 
+       ggplot(aes(LLE1, LLE2, col = species)) +
+       geom_point(size = 2) +
+       stat_ellipse(level = 0.93) +
+       theme_bw() +
+       theme(legend.position = "top")
> p1

标准化后的数据

2.设定三维来做LLE，并用 scatter3D() 函数来作图。

> scatter3D(x = flea.lle$Y[, 1], y = flea.lle$Y[, 2], z = flea$head, pch = 19,
+           bty = "b2", colkey = F, theta = 35, phi = 10,
+           col = ramp.col(c("red", "cyan")))

三维图

3.不使用scale函数直接做二维LLE，并绘制散点图。

> flea2 <- flea %>% 
+   as_tibble() %>%
+   dplyr::select(-species)
> 
> flea.k2 <- calc_k(flea2, m = 2, kmin = 1, kmax = 20, plotres = F,
+                   parallel = T, cpus = parallel::detectCores())

## Library lle loaded.
## best k: 19 18 20

> flea.lle2 <- lle(flea2, m = 2, k = filter(flea.k, rho == min(flea.k$rho))$k)

## finding neighbours
## calculating weights
## computing coordinates

> p2 <- tibble(LLE1 = flea.lle2$Y[, 1],
+              LLE2 = flea.lle2$Y[, 2],
+              species = flea$species) %>% 
+       ggplot(aes(LLE1, LLE2, col = species)) +
+       geom_point(size = 2) +
+       stat_ellipse(level = 0.93) +
+       theme_bw() +
+       theme(legend.position = "none")

与标准化的图拼在一起对比：

> p_load(patchwork)
> 
> p1 + p2

标准化与非标准化数据对比

6、LLE总结

LLE是广泛使用的图形图像降维方法，它实现简单，但是对数据的流形分布特征有严格的要求，比如不能是闭合流形，不能是稀疏的数据集，不能是分布不均匀的数据集等等，这限制了它的应用。

LLE算法的主要优点有：
1）可以学习任意维的局部线性的低维流形。
2）算法归结为稀疏矩阵特征分解，计算复杂度相对较小，实现容易。

LLE算法的主要缺点有：
1）算法所学习的流形只能是不闭合的，且样本集是稠密均匀的。
2）算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。

7、SOM与LLE

SOM 与 LLE 的优点：
1.非线性还原算法。
2.新数据可以映射到SOM上。
3.训练成本相当不高。
4.LLE算法可重复。

SOM 与 LLE 的缺点：
1.不能处理分类变量。
2.不能直接用原始变量解释。
3.对不同尺度的数据很敏感。
4.新数据不能映射到LLE上。
5.不一定保留数据的全局结构。
6.SOM算法每次都会产生不同的结果。
7.SOM在大型数据集上效果更好。

97-非监督学习之LLE非线性降维