是一类借鉴了拓扑流形概念的降维方法。
流形是在局部与欧式空间同胚的空间,它在局部具有欧式空间的性质,能用欧氏距离来进行距离计算。若低维流形嵌入到高维空间中,则数据样本在高维空间的分布虽然看上去非常复杂,但在局部上仍具有欧氏空间的性质,因此可以容易地在局部建立降维映射关系,然后设法将局部映射推广到全局,当维数被降至二维或三维时,就能对数据进行可视化展示。
等度量映射(Isometric Mapping,简称Isomap)
认为低维流形嵌入到高维空间后,直接在高维空间中计算直线距离具有误导性,因为高维空间中的直线距离在低维嵌入流形上是不可达的。
高维空间中两点距离:‘测地线’距离
通过流形在局部上与欧式空间同胚性质,对每个点基于K近邻找到K个近邻点,然后用最短路径算法求近似解
求得所有两点间距离后使用MDS降维
局部线性嵌入(Locally Linear Embedding)
试图保持领域内样本之间的线性关系
假定样本点 Xi 的坐标能通过它的领域样本 Qi的线性组合得到
wij为线性重构系数
然后求低维空间的映射坐标Zi,具体推导见西瓜书P236,237
同样用到了特征值分解