第十章 降维与度量学习

:目录



10.1 k近邻学习(简称kNN)

kNN的泛化错误率


式(10.2)的推导

公式推导:https://blog.csdn.net/jbb0523/article/details/89052490 注解中第10章的内容
由式(10.2)可知:最近邻分类器虽然简单,但它的泛化错误率不超过贝叶斯最优分类器的错误率的两倍



10.2 低维嵌入

维数灾难

降维

经典降维算法:MDS

目标:获得样本在低维空间的表示

前提:在低维空间样本之间的距离与在原始空间样本之间的距离相等

具体:


式(10.4)~式(10.6)的推导:

MDS算法的描述:

线性降维与降维效果评估


10.3 主成分分析(简称PCA)

PCA引入


一个例子(二维降为一维)

参考:https://www.bilibili.com/video/av90308355/?spm_id_from=333.788.videocard.0


PCA算法

另一角度

PCA的优点



10.4 核化线性降维(简称KPCA)

由于西瓜书上关于KPCA的章节我看不懂,下面有关KPCA的内容是参考:视频https://www.bilibili.com/video/av16722186?t=4361,视频直接从几何角度讲解了PCA和KPCA

为什么要用KPCA?

KPCA的基本定义

KPCA:基于核技巧对线性降维方法进行“核化”

具体过程(一个例子)


上面罗里吧嗦的是PCA的推导,把它写进去是因为上面有些结论后面要用,进入正题KPCA



10.5 流形学习


流形学习的2个代表:Isomap和LLE

参考:https://blog.csdn.net/zhulingchen/article/details/2123129?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Isomap



LLE

基本思想

具体过程



10.6 度量学习

基本出发点

距离度量表达形式


总结:

[近邻成分分析部分由于看不太懂,直接略过了,之后再补上]


Python 代码实现

PCA

fit(X): 用数据X来训练PCA模型。

fit_transform(X):用X来训练PCA模型,同时返回降维后的数据。

n_components_:返回所保留的特征个数。

explained_variance_ratio_:返回所保留各个特征的方差百分比。

用法参考:sklearn中PCA的使用方法 - 简书

运行结果

由运行结果可知,保留的两个特征可以99.11%的表达整个数据集,因此可以降到二维

PCA还可应用于人脸识别

PCA人脸识别操作流程:训练样本→特征提取→构造特征空间→投影计算。

详细请参考:PCA人脸识别详解——初学者必看_网络_xiaomage_gf的博客-CSDN博客

由于我安装cv2库的时候,一直一直一直没有安装成功,死在了第一步上,所以就运行不了代码,害,本菜鸟再回去琢磨琢磨

LLE

matplotlib.mplot3d:三维绘图工具包

np.floor(): 返回不大于输入参数的最大整数。 即对于输入值 x ,将返回最大的整数 i ,使得 i <= x。 在Python中,向下取整总是从 0 舍入。

定义函数,根据构成样本坐标的近邻点个数的不同画出相应的散点图

enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。

add_subplot(a, b, i ):把画布分成a行b列,图像画在从左到右从上到下的第 i 块

scatter()函数链接:Python中scatter函数参数详解_Python_AnneQiQi的博客-CSDN博客


结果输出:

原始空间的样本数据
降维后的数据

由结果可知,构成样本坐标的近邻点个数对降维结果影响较大,且随着k的增大,降维结果越好,但运行时间大体上也在增加

Isomap

结果输出

由输出结果可知,保留样本数据的维数越少,样本丢失的信息越多,其重构误差也越大


由结果可知,近邻点k的数量对降维结果有较大的影响,k=1时,近邻范围过小,发生断路现象;随着k的增大,可以看出降维效果变好

代码:

PCA降维及python实现_Python_Reticent_Man的博客-CSDN博客
人工智障学习笔记——机器学习(13)LLE降维_人工智能_九日王朝-CSDN博客降维方法总结(线性与非线性)_人工智能_大熊的博客-CSDN博客

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容