PCA

又是很容易忘的一个知识点，记下来！

目的

找到一组正交基P，使得PX=Y，且使变换后的矩阵Y方差最大，即使得Y的协方差矩阵为对角阵。

推导：
变换矩阵为P，则PX=Y
S_{Y}=\frac{1}{n-1}Y Y^{T} =\frac{1}{n-1}P X X^{T}P^{T} =\frac{1}{n-1}P E D E^{T}P^{T}
若 P=E^{T}，S_Y=\frac{1}{n-1}D，则S_Y为对角阵。

操作

由上式推导可知，要做PCA，可分为如下几步：

  • 减去均值
  • 计算XX^{T}，即X的协方差矩阵
  • 计算XX^{T}的特征值矩阵D和特征向量E
  • 排序
  • 令P=E^{T}

Reference

机器学习中SVD和PCA一直没有搞的特别清楚，应该如何理解呢？ - 覃含章的回答 - 知乎
https://www.zhihu.com/question/38319536/answer/131029607

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容