一些基本概念：
- 生成模型generative model：生成模型是指联合分布；判别模型是指条件分布。
- WLOG: Without loss of generality 不失一般性
- signal reconstruction: 信号重构
- 数据噪声：引入噪声通常是为了防止过拟合的，噪声一般能提高模型的泛化能力
- 过拟合：当训练时候的数据不够，即训练数据不足以估计整个数据的分布时，或者最模型进行过度训练时，会导致过拟合。
- 维度：维度通常指特征的个数。它比较少的情况下也可以指数据向量的第几维。
我有段时间一直将维度的概念搞错了！
下面是PCA的内容：
- 什么是降维？
根据维基百科的定义，在机器学习中，降维是指减少随机变量的个数的过程。主要包括两方面：特征选择(features selection)和特征提取(features extraction or features projection)。换句话说，降维是指减少特征空间的维数。
为什么降维？
1.为了减少数据噪声，突出主要特征，减少计算量，如PCA。
2.为了减少模型的参数。
3.为了避免过拟合。
怎么降维？ 一般的想法是在低维保持数据的主要特征。
PCA是一个使数据不相关的过程。它的目标是，找到一个坐标系统，使不同的维度不相关。或者，找到一个坐标系统，找出最大的方差。
- 怎样实现PCA：相关性可以通过旋转数据点或坐标来消除。
我们有数据，PCA找到一个方向
使
。优化这个式子我们必须对
有限制条件：
。
拉格朗日方程有：
对求偏微分等于0有：
这是一个标准的特征方程问题。是
对应最大特征根的的特征向量。
是由数据方差矩阵做特征根分解得到的：
主成分
是特征向量，
是对应的对角线上的特征根。
PCA的特征：
a. 特征向量是正交的： 。也就是说，PCA对应着生成模型
，这儿
。
b. 是对角阵。也就是说，分解出来的
在时间上是无关的。
c. 第i个特征根是第i个因子的方差:
具体算法：
|-------------------------------------------------------------------------------------------|
Require : data , number of principal components k
1: #Center data:
2: #Compute Covariance Matrix :
3: #Calculate eigenvectors and eigenvalues
of the covariance matrix:
4: # Rank eigenvectors by its corresponding
eigenvalues
5: return top k eigenvectors
|-------------------------------------------------------------------------------------------|
- 什么是信号重构？
PCA所做的是将数据投影到输入空间的子集上。例如，这张图里，投影数据在子空间里面有最大的方差。图中的红点是在投影上重构的数据。重构误差是从蓝点到红点的距离之和。
信号重构的最优性
WLOG(不失一般性)， 假设特征向量对应的特征根有序排列，即
那么，前k个成分方向的投影，即
里面有的方差。
定理：在k维投影上的重构误差最小值是的余下的
个最小的特征根之和:
最小值在处取得。
证明：
化简
而
- Kernel Trick
我们有数据，会遇到这样的问题：
a. 协方差矩阵的矩阵的维数会很大
b. 对于协方差矩阵的估计拥有的数据太少
我们知道肯定在数据的延伸上，
,
是每个点的权重。
将代入PCA的式子里，得到
则有：
这种通过而不是
解PCA的方法称作linear kernel PCA。
- Singular Value Decomposition(SVD)奇异值分解
通过SVD我们可以分解任意一个矩阵，这儿
和
是包含着奇异向量的正交矩阵，
是对角阵，为奇异值。
现在我们可以看到
a.协方差矩阵
b.核矩阵
是
的特征向量，
是
的特征向量。
是
和
的特征值的平方根。
线性核PCA和经典PCA之间的关系是：
