PCA,中文名:主成分分析,在做特征筛选的时候会经常用到,但是要注意一点,PCA并不是简单的剔除掉一些特征,而是将现有的特征进行一些变换,选择最能表达该数据集的最好的几个特征来达到降维目的。sklearn中已经有成熟的包,因此我们以后就可以直接调用了(开心~)。下面说一下关于此函数的一些参数说明,或者参考官网API。
1. 函数原型及参数说明
这里只挑几个比较重要的参数进行说明。
sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)
- n_components: int, float, None 或 string,PCA算法中所要保留的主成分个数,也即保留下来的特征个数,如果 n_components = 1,将把原始数据降到一维;如果赋值为string,如n_components='mle',将自动选取特征个数,使得满足所要求的方差百分比;如果没有赋值,默认为None,特征个数不会改变(特征数据本身会改变)。
- copy:True 或False,默认为True,即是否需要将原始训练数据复制。
- whiten:True 或False,默认为False,即是否白化,使得每个特征具有相同的方差。
2. PCA对象的属性
- explained_variance_ratio_:返回所保留各个特征的方差百分比,如果n_components没有赋值,则所有特征都会返回一个数值且解释方差之和等于1。
- n_components_:返回所保留的特征个数。
3.PCA常用方法
- fit(X): 用数据X来训练PCA模型。
- fit_transform(X):用X来训练PCA模型,同时返回降维后的数据。
- inverse_transform(newData) :将降维后的数据转换成原始数据,但可能不会完全一样,会有些许差别。
- transform(X):将数据X转换成降维后的数据,当模型训练好后,对于新输入的数据,也可以用transform方法来降维。
4.简单栗子
import numpy as np
from sklearn.decomposition import PCA
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
pca = PCA(n_components=2)
newX = pca.fit_transform(X)
print(X)
Out[365]:
[[-1 -1]
[-2 -1]
[-3 -2]
[ 1 1]
[ 2 1]
[ 3 2]]
print(newX)
Out[366]:
array([[ 1.38340578, 0.2935787 ],
[ 2.22189802, -0.25133484],
[ 3.6053038 , 0.04224385],
[-1.38340578, -0.2935787 ],
[-2.22189802, 0.25133484],
[-3.6053038 , -0.04224385]])
print(pca.explained_variance_ratio_)
[ 0.99244289 0.00755711]
可以发现第一个特征可以99.24%表达整个数据集,因此我们可以降到1维:
pca = PCA(n_components=1)
newX = pca.fit_transform(X)
print(pca.explained_variance_ratio_)
[ 0.99244289]
怎么样,今天的技能get到了吗,如果喜欢的话就点个赞吧~