PCA

又是很容易忘的一个知识点,记下来!

目的

找到一组正交基P,使得PX=Y,且使变换后的矩阵Y方差最大,即使得Y的协方差矩阵为对角阵。

推导:
变换矩阵为P,则PX=Y
S_{Y}=\frac{1}{n-1}Y Y^{T} =\frac{1}{n-1}P X X^{T}P^{T} =\frac{1}{n-1}P E D E^{T}P^{T}
P=E^{T}S_Y=\frac{1}{n-1}D,则S_Y为对角阵。

操作

由上式推导可知,要做PCA,可分为如下几步:

  • 减去均值
  • 计算XX^{T},即X的协方差矩阵
  • 计算XX^{T}的特征值矩阵D和特征向量E
  • 排序
  • P=E^{T}

Reference

机器学习中SVD和PCA一直没有搞的特别清楚,应该如何理解呢? - 覃含章的回答 - 知乎
https://www.zhihu.com/question/38319536/answer/131029607

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容