在模型开发中，并不是所有的特征要全部筛选进模型，因为金融数据一般特征有很多，如果全部放入模型，一方面可能会引起“维度灾难”，另一方面得到的结果也许并不是最好的，因为有些特征之间的相关性较强。所以我们有必要对特征进行一定程度的筛选.数据的话可以去评分卡模型开发-数据集缺失值处理下载
import pandas as pd
import os
os.chdir("C:\\Users\\Administrator\\OneDrive\\步履不停\\评分卡制作\\数据")
df = pd.read_csv(".\\GermanCredit.csv",index_col=0)
df.head()
#将违约样本用"1"表示，正常样本用0表示
import numpy as np
df['credit_risk'] = df['credit_risk'].apply(lambda x:np.where(x=='good',0,1))
#获取定量指标
df.info()
continuous_vars = []
category_vars = []
for i in df.columns:
if df[i].dtype=='int64': #判断条件依据df.info()的结果而定
continuous_vars.append(i)
else:
category_vars.append(i)
X = df.loc[:,continuous_vars[:-1]]
X.head()
y = df.loc[:,continuous_vars[-1]]
y.head()
至此，我们将数据源中的所有特征分为了定量和定性，接下来我们讲讲怎么在python中选取定量特征
- 通过随机森林判断特征的重要性
from sklearn.ensemble import RandomForestClassifier
#无需对基于树的模型做标准化或归一化处理
forest = RandomForestClassifier(n_estimators=10000,random_state=0,n_jobs=-1)
forest.fit(X,y)
importances=forest.feature_importances_
importances
得到如下结果：
array([ 0.18996948, 0.34514053, 0.06920705, 0.07587584, 0.2470823 ,
0.04564897, 0.02707582])
接下来我们利用numpy中argsort函数得到imoortances中从大到小排列的索引值,并根据索引值将每个特征的重要性值排列出来
indices=np.argsort(importances)[::-1]
feat_labels=X.columns
for f in range(X.shape[1]):
print("%2d) %-*s %f " %(f+1,30,feat_labels[f],importances[indices[f]]))
得到如下结果：该结果是根据均值精度下降法得出来的
1) duration 0.345141
2) amount 0.247082
3) installment_rate 0.189969
4) present_residence 0.075876
5) age 0.069207
6) number_credits 0.045649
7) people_liable 0.027076
最后我们可以将其可视化：
import matplotlib.pyplot as plt
%matplotlib inline
plt.title('Feature Importances')
plt.bar(range(X.shape[1]),importances[indices],color='lightblue',align='center')
plt.xticks(range(X.shape[1]),feat_labels,rotation=90)
plt.xlim([-1,X.shape[1]])
plt.tight_layout()
1.png
- 还有一些其他的特征选择方法可以参考这个：http://scikit-learn.org/stable/modules/feature_selection.html,里面有详细的介绍
