降维-PCA
1.A与B的内积值等于A向B所在直线投影的表量长度
2.如果基的数量小于向量本身的维数，就可以达到降维的目的。
但，如何选择基？
3.一般而言，希望投影后的投影值尽可能分散（也可以从熵的角度进行理解，熵越大所含信息越多） #也就是使方差最大，协方差最小--类似于主成分分析，减少自变量的感觉
问题转变为：将一组N维向量降为K维，其目标是选择K个单位正交基，使得原始数据变换到这组基上后，各变量两两间协方差为0，而变量方差则尽可能大
方法：实质上就是使协方差矩阵对角化
算法步骤：
设有m条n维数据：
1.将原始数据按列组成n行m列矩阵X；
2.将X的每一行进行零均值化，即减去这一行的均值；
3.求出协方差矩阵 ；
4.求出协方差矩阵的特征值及对应的特征向量；
5.将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；
6.Y=PX 即为降维到k维后的数据。
优点和缺点：
1.缓解维度灾难：舍弃一部分信息降低维数，使样本的采样密度增大；
2.降噪：当数据收到噪声影响时，最小特征值对应的特征向量往往与噪音有关，可将其舍弃；
3.过拟合：可能会舍弃有用的信息
4.特征独立：协方差为0，自相关性降低。
