Sparse Principal Component Analysis

背景:

sparse PCA 较 PCA来说更具可解释性，泛化性。

部分符号

\mathrm{X} \in \mathbb{R}^{n \times p}
假设样本已经中心化（每一个行为一个样本）
\mathrm{X}=[X_1,X_2,\ldots, X_p]
X_j = (x_{1j}, x_{2j},\ldots, x_{nj})
\mathrm{X = UDV^{T}}
\mathrm{Z=UD}为主成分（PCs）

创新点

1.将PCA问题转化为一个回归问题，利用最小角回归，可以高效求解Lasso问题。
2.二重迭代求解，sparse PCA问题。

文章梗概

The LASSO AND THE ELASTIC NET

普通的Lasso

在这里插入图片描述

Y=(y_1,y_2,\ldots,y_n)^{\mathrm{T}}

这个方法的问题在于，当
p \gg n
的时候，
\hat{\beta}
最多有n个非零项（这是为什么呢？）

The elastic net

在这里插入图片描述

将PCA改造为回归问题

定理一 考虑单个向量（需要先进行SVD）

在这里插入图片描述

定理二 单个向量（无需进行SVD版本）

在这里插入图片描述

定理三 多个向量（无需进行SVD， 非LASSO，非elastic net）

在这里插入图片描述

目标函数（最终版）

在这里插入图片描述

俩步求解

在这里插入图片描述
定理四 A given B的理论支撑（存疑）
在这里插入图片描述

算法一

在这里插入图片描述

方差计算

因为稀疏化后的向量，既不具有空间上（往往）的正交性，也不具有概率上（\mathrm{x^{T}Cy}=0）的正交性。这里，Zou 考虑的是概率上的正交性，将得到的向量正交化，把余量相加得最后的方差。

在这里插入图片描述

复杂度

n > p ： np^2+mO(p^3) #m是迭代次数

p \gg n 算法改进

简单来说，就是把step2改进下，原来需要求解一个elastic net问题，现在直接进行截断，自然会减轻不少负担。


在这里插入图片描述

数值实验（pitprops）

在这里插入图片描述
在这里插入图片描述
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容