1.0 高维数据向低维数据映射
仅仅提取一个数据集的n个主成分并没有对数据维度造成改变。但利用提取出的主成分能够选出使样本方差最大的（小于n个数的）维度，以此实现对数据降维的操作，将高维数据映射为低维数据。
对于维度选择主要通过原数据集与主成分向量组成的矩阵进行乘机即可获得。例如，假设有以下两个矩阵，是包含m个n为特征的数据样本，
是从
中提取的前
个主成分，
也是包含n个特征。
将从n维降到k维，只需要将
和
相乘即可：
。该乘法的本质就是将
的每一行数据
映射到
构成的k维空间中，进而得到一组包含k个特征的向量，即完成了从n维到k维的映射。
降维的过程中可能会丢失信息。如果原先的数据中本身存在一些无用信息，降维也可能会有降噪效果。
2.0 sklearn中的PCA分析
首先准备数据集：
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
digits = datasets.load_digits()
X = digits.data # (1797, 64)，64个特征
y = digits.target
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
使用KNN算法进行数据模拟，并查看分类效果：
knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train, y_train)
knn_clf.score(X_test, y_test) # 输出：0.9866666666666667
使用PCA进行降维，再使用KNN对降维后的数据进行拟合：
from sklearn.decomposition import PCA
pca = PCA(n_components=3) # 将数据集的特征数量降到3维
pca.fit(X_train)
X_train_reduction = pca.transform(X_train)
X_test_reduction = pca.transform(X_test)
knn_clf2 = KNeighborsClassifier()
knn_clf.fit(X_train_reduction, y_train)
knn_clf.score(X_test_reduction, y_test) # 输出：0.7644444444444445
可以看到，数据经过降维由64个特征降到3个特征之后，使用相同模型再进行预测的精度也相应的降低了。说明在数据降维过程中损失了一部分有用的信息。
3.0 解释方差
为了应对数据降维过程中的损失，PCA算法提供了一个特殊的指标pca.explained_variance_ratio_（解释方差比例），通过对方差水平的解释程度，反映降维后的数据集所保持的原数据集信息量的水平。仍以上面的digits为例：
print(pca.explained_variance_ratio_)
array([0.14566817, 0.13735469, 0.11777729])
上面的打印结果就是主成分所解释的方差比例。
对于现在的示例来说，0.14566817表示第一个主成分能够解释原数据14.56%的方差；0.13735469表示第二个主成分能够解释13.73%的方差，0.11777729第三个主成分能够解释11.78%的方差。三者之和约为40%，说明PCA降维后的数据涵盖了原数据总方差的约40%，剩余的60%都在降维过程中丢失掉了。
再使用该示例，对于原来的64个特征的数据集提取64个主成分，结果能够解释100%的原数据方差。
pca = PCA(n_components=64)
pca.fit(X_train)
pca.explained_variance_ratio_
上面的矩阵即为64个主成分对于原数据方差解释程度的结果，将其求和得1.0000000000000002，说明解释了100%的原数据方差。此外还能注意到，随着主成分数量的增加，新增主成分对于原数据方差解释的比例在不断降低，后几个主成分甚至可忽略不计。因此，实际应用中可以通过累加占比的方式找出合适的主成分数量，使对原数据的方差解释长度达到确定的水平，进而达到满意的降维效果。
绘制方差解释度的帕累托图：
plt.plot([i for i in range(X_train.shape[1])],
[np.sum(pca.explained_variance_ratio_[:i+1]) for i in range(X_train.shape[1])])
plt.show()
sklearn中，可以指定方差解释的程度，使程序自动选择生成的主成分数量。
pca = PCA(0.80)
pca.fit(X_train)
pca.n_components_ # 输出：13
X_train_reduction2 = pca.transform(X_train) # 用降维后的数据建模
X_test_reduction2 = pca.transform(X_test)
knn_clf3 = KNeighborsClassifier()
knn_clf3.fit(X_train_reduction2, y_train)
knn_clf3.score(X_test_reduction2, y_test) # 输出：0.9666666666666667
使用这种达到较高精度的降维数据去进行模型训练，就能得到较好的结果。
4.0 PCA逆操作与降噪
实际数据中不可避免地出现各种噪音，这些噪音的出现可能会对数据的准确性造成一定的影响。而主成分分析法还有一个用途就是降噪。
PCA通过选取主成分将原有数据映射到低维数据再映射回高维数据的方式进行一定程度的降噪。构造一组数据作为示例：
import numpy as np
import matplotlib.pyplot as plt
X = np.empty((100, 2))
np.random.seed(666)
X[:,0] = np.random.uniform(0., 100., size=100)
X[:,1] = 0.75 * X[:,0] + 3. + np.random.normal(0, 5, size=100)
plt.scatter(X[:,0], X[:,1])
plt.show()
使用PCA降维后数据进行inverse_transform，看数据集的变化：
from sklearn.decomposition import PCA
pca = PCA(n_components=1)
pca.fit(X)
X_reduction = pca.transform(X)
X_restore = pca.inverse_transform(X_reduction)
plt.scatter(X_restore[:,0], X_restore[:,1])
plt.show()
比较上面两个图，可以明显看出还原后的数据不等同于原数据！这是因为在使用PCA降维时已经丢失了部分的信息。因此在还原时都是基于保留信息进行还原的，只能保证维度相同，但恢复的数据与原数据必然无法相同。
但这样一来一回的操作，丢失掉部分信息就相当于降噪了。
据降维还有一个作用是可视化，如将特征数量降到二维后就可以在平面坐标系中绘图显示（类似于统计中的对应分析）。
