机器学习过程中，面对纷纭杂乱的指标，究竟哪些特征才是对我们的分析有作用。通常我们会根据业务理解来选择指标，这不仅对业务基础依赖大，且效率低。就此，此处借助大神WillKoehrsen开发的特征选择工具——feature-selector，跟其作者思路，转变为自己理解的语言，以记录自己的学习过程。
feature-selector，特征选择器，其主要提供以下5种特征选择方法：
1.高百分比的缺失值特征选择法
2.共线(高度相关)特征选择法
3.树型结构模型中的零重要性特征选择法
4.低重要性特征选择法
5.唯一值特征选择法
一、读取数据
1.导入数据
from feature_selector import FeatureSelector
import pandas as pd
train = pd.read_table('C:\\Users\\SYH\\Desktop\\qdn_76.csv')
train_labels = train['is_out']
print(train.head())
运行结果：
user_id cust_id ... DOUBLE_CARD_STAY is_hk
0 10006294220 105768150 ... 0 0
1 10006504517 113020291 ... 0 0
2 10012770118 3010291266 ... 1 0
3 10015964320 3013178745 ... 0 0
4 10016313733 3013499030 ... 1 0
[5 rows x 182 columns]
2.建立特征选择器
建立特征选择器之前，我们先分离特征字段与目标字段：
train = train.drop(columns = ['is_out'])
即从原数据集中删除目标字段“is_out”，得到新的训练集。接下来构建特征选择器：
fs = FeatureSelector(data = train, labels = train_labels)
二、特征选择
1.缺失值特征选择
该方法是选出指定阈值缺失值占比的特征，如上训练集，筛选出缺失值超过60%的指标：
fs.identify_missing(missing_threshold = 0.6)
运行结果：
9 features with greater than 0.60 missing values.
即该训练集中，有9个指标的缺失值超过了样本量的60%。
注：数据集中缺失值必须为空，否则将无法识别，如缺失值标识为"(null)"就无法识别为缺失值！
按列显示缺失值的指标及占比：
print(fs.missing_stats.head())
运行结果：
missing_fraction
TERMCHG_CYCLE 0.972716
TERM_PRICE 0.937626
DOUBLE_CARD_STAY 0.826867
AFTER_CAMERAPIXELS 0.826867
PRE_CAMERAPIXELS 0.826867
即如TERMCHG_CYCLE字段，缺失值占比97%。
通过FeatureSelector类的ops方法选出缺失值指标：
missing_features = fs.ops['missing']
print(missing_features)
运行结果：
['TERMCHG_CYCLE', 'TERM_PRICE', 'IMEI_ONLINE', 'num_sim', 'num_term', 'TERM_TYPE', 'PRE_CAMERAPIXELS', 'AFTER_CAMERAPIXELS', 'DOUBLE_CARD_STAY']
构建缺失值占特征比例的分布图:
fs.plot_missing()
小菜我运行此语句不报错，但无图片生成，还望路过的大神指点，甚谢！！！
2.唯一值特征
唯一值特征，即选择出只包含一个数据的指标。一个指标只有一个数据，对分析无任何帮助，且耗时，故需删除。
显示训练集中唯一值特征的数量：
fs.identify_single_unique()
运行结果：
3 features with a single unique value.
即该训练集中有3个指标为唯一值指标。
显示具体是哪3个指标为唯一值：
single_unique = fs.ops['single_unique']
print(single_unique)
运行结果：
['userstatus_id', 'DATA_MARK', 'VILLAGE_VPMN_MARK']
绘制各个区间唯一值数量的直方图:
fs.plot_unique()
同样无图片输出！！！
3.共线特征
共线特征即找出具有高度相关的指标。在机器学习中，由于共线特征的高方差和低模型可解释性，会导致测试集的泛化性能下降。
identify_collinear方法根据指定的[相关系数]值查找共线特征，将相关特征对中的一个标识为要删除特征(因为只需要删除一个)。
找出相关性在95%及以上的指标：
fs.identify_collinear(correlation_threshold=0.95)
运行结果：
51 features with a correlation magnitude greater than 0.95.
即有51个指标相关性在95%以上。
显示具体哪些指标：
correlated_features = fs.ops['collinear']
print(correlated_features)
运行结果：
['a3_avg_call_cnt', 'avg_call_cnt', ……, 'avg_call_sum']
基于相关性的热度图，该图显示了相关性超过阈值的所有特征：
fs.plot_collinear()
也传入plot_all = True给调用，绘制所有数据相关性的图表:
fs.plot_collinear(plot_all=True)
显示共线性指标及相关性：
print(fs.record_collinear)
以上我们通过几种方法找出了一些不必要的指标，接下来我们可以通过remove方法，删除这些不必要的指标。
删除缺失值超阈值的指标，得到新的训练集train_no_missing ：
train_no_missing = fs.remove(methods = ['missing'])
运行结果：
Removed 9 features.
同时删除“缺失值超阈值”和“共线性指标”：
train_no_missing = fs.remove(methods = ['missing', 'collinear', 'single_unique'])
