sklearn中提供的多种工具可以实现数据降维。如sklearn.decomposition、sklearn.discriminant_analysis和sklearn.manifold中。分别对应矩阵分解、判别式分析和流行学习的降维方法。这里对常用的方法做简单介绍。
sklearn.decomposition
通过处理数据矩阵来实现降维的方法常用的就是主成分分析和因子分析。
主成分分析
sklearn.decomposition 中的 PCA 采用SVD求解，得到样本协方差矩阵的特征值和特征向量。该方法不支持矩阵的稀疏表示。主要参数包括：
- n_components：用于指定保存的主成分数目，默认保留所有成分。可使用整数明确指定主成分数目，也可使用浮点型小数根据主成分所解释的方差来确定主成分数目。
- svd_solverstr：则指定使用的SVD求解方法。可选的有“auto”、“full”、“arpack”、“randomized”。
sklearn.decomposition.PCA 使用fit 用于在给定样本X上进行主成分分析，找到主成分，使用transform 可以使用模型得到的主成分进行降维。或直接使用fit_transform可直接得到降维结果。
inverse_transform 则可根据主成分将地位空间中的数据映射回原始空间，但是还是会丢失主成分分析时丢弃的方差。
训练后的PCA对象的explained_variance 属性包含了每个主成分解释的方差。explained_variance_ratio_ 则为各主成分解释的方差占总体的比例。
sklearn.decomposition.IncrementalPCA 还提供了增量PCA方法。
核PCA则由 sklearn.decomposition.KernalPCA 提供。使用参数 kernal 指定核方法，包括“linear”、“poly”、“rbf”、“sigmoid”、“cosine”、“precomputed”，默认为线性核。而核函数的参数，由相关参数 gamma、degree、coef0 等指定。
因子分析
因子分析将观测数据看做是低维隐含因子的线性组合。sklearn/decomposition/FactorAnalysis 提供了因子分析的方法。
其中常用的参数和PCA的参数类似。n_components 用于指定隐层因子空间的维度。None则使用样本特征维度数。
sklearn.manifold
流形学习的方法则在sklearn.manifold中。
LLE局部线性嵌入
LLE是一种非常有效的非线性建伟方法，通过测量每个训练实例预期最近邻之间的线性关系，来寻找能最好地保留这种局部线性关系的低维表示。
sklearn.manifold.LocallyLinearEmbeding 类的主要参数包括：
- n_neighbors：指定考虑的最近邻个数。
- n_components：指定流形学习的维度。
X, _ = load_digits(return_X_y=True)
X.shape
>>> (1797, 64)
embedding = LocallyLinearEmbedding(n_components=2)
X_transformed = embedding.fit_transform(X[:100])
X_transformed.shape
>>> (100, 2)
Isomap等距特征映射
Isomap通过将每个实例连接到最近邻的实例来构建图形，然后在尝试保持实例之间的测地距离时降低纬度。
sklearn.manifold.Isomap 方法同样通过 n_neighbors 指定考虑的最近邻个数，n_components 指定流形学习的维度。
embedding = Isomap(n_components=2)
X_transformed = embedding.fit_transform(X[:100])
X_transformed.shape
>>> (100, 2)
MDS多维定位
MDS方法在尝试保持实例之间的距离的同时进行维度缩减。但并没有像Isomap一样只考虑局部临近实例之间的距离。
所以sklearn.manifold.MDS 中没有 n_neighbors 参数。
embedding = MDS(n_components=2)
X_transformed = embedding.fit_transform(X[:100])
X_transformed.shape
>>> (100, 2)
t-SNE
t-分布随机邻域嵌入（t-Distributed Stochastic Neighbor Embedding）可以用于降低为，同时驶入保持相似的实例临近并将不相似的实例分开。该方法主要用于可视化，将原数据降维到二维（n_components 默认即为 2），尤其是可视化高维度空间中的实例。分开的不相似实例在可视化结果中较容易观察。由 sklearn.manifold.TSNE 类实现。
