前言：去年参加了数据城堡的算法竞赛，一直没时间记录下来，趁今天来梳理下这个竞赛项目的方方面面。赛题为用户贷款风险预测，目标是利用用户基本信息、用户银行流水、用户信用卡账单以及用户浏览行为4个表的数据预测用户贷款后逾期的概率，其中带标签数据55596条，无标签数据13899条，个人最好成绩是排名前8%。

解决方案概述

此次大赛目标是从用户行为数据分析借款用户的信用状况，来判断其是否逾期。针对需要解决的问题和数据特征，主要从三个方面进行处理:数据预处理，特征工程，模型训练。

首先，由于数据中存在缺失值，因此需要对缺失值数据进行预处理。其次，采用基于学习模型的特征排序方法做了特征选择。然后，针对类别不平衡问题，主要是对少量样本过采样，针对过程中出现的过拟合问题，采用了pca降维以及对特征进行选择的方法。

本文框架如下：

1. 好坏样本定义说明
2. 样本概述
3. 缺失值处理
4. 构建新特征
5. 特征选择
6. 模型
7. 最终结果

1.好坏样本定义

样本有55596条带标签数据，其中标签为0,1，1表示用户逾期。
正负样本分布如下：

print('训练集中各类别数据的个数：', trains.groupby('标签').size())

训练集中各类数据的个数： 标签
0.0    48413
1.0     7183

可以看出正负样本并不平衡，正样本大概是负样本的7倍，因此存在一个样本不平衡问题。

2.样本概述

提供的近7w条数据中，主要为四个表，分别是用户信息表，银行流水记录，用户浏览行为，信用卡账单。其中字段名如下：
用户信息表：

银行流水记录表：

用户浏览行为表：

信用卡账单表：

共计27个字段。字段数据都经过举办方脱敏处理，业务信息缺失。

3.缺失值处理

赛题数据中大部分样本都有缺失值，常用的缺失值处理方法是缺失值填充(用同类别数据的特征均值，中值等)

feature=dataset[:]
dataset=dataset.fillna(-1)
d=feature['用户银行流水记录缺失统计']=(dataset==-1).sum(axis=1)

用均值填充缺失值

feature.fillna(feature.mean(),inplace=True)

4.构建新特征

赛题数据含有类别特征，很多算法(如逻辑回归，SVM)只能处理数值型特征，这种情况下需要对类别特征进行编码，这里采用了 One-Hot 编码，得到了 01 特征，解决了分类器不能处理类别特征的问题。

dataset=pd.get_dummies(dataset,
                       columns=dataset[['用户性别','用户职业','用户教育程度',
                                                '用户婚姻状态','用户户口类型']]).drop(['标签'],axis=1)

根据放款时间来划分时间窗口，构建每个表的放款前特征和放款后特征。

# ----------------------------------------银行流水特征------------------------------------------#
print('银行流水记录')
feature = pd.read_csv('../feature/训练放款时间表')
d = pd.read_csv('../feature/银行流水记录表')
d=pd.merge(d,feature,how='left', on = '用户标识')
# ----------------------------------------放款前特征统计------------------------------------------#
print('放款前特征统计')
t = d[(d['流水时间'] <= d['放款时间'])] 
gb1 = t[(t['交易类型'] == 0)].groupby(['用户标识'], as_index=False)  # 收入统计
gb2 = t[(t['交易类型'] == 1)].groupby(['用户标识'], as_index=False)  # 支出统计
gb3 = t[(t['工资收入标记'] == 1)].groupby(['用户标识'], as_index=False)  # 工资收入统计
x1 = gb1['交易金额'].agg({'放款前用户收入笔数': 'count', '放款前用户收入总计': 'sum'})
x2 = gb2['交易金额'].agg({'放款前用户支出笔数': 'count', '放款前用户支出总计': 'sum'})
x3 = gb3['交易金额'].agg({'放款前用户工资收入笔数': 'count', '放款前用户工资收入总计': 'sum'})

feature = pd.merge(feature, x1, how='left', on='用户标识')
feature = pd.merge(feature, x2, how='left', on='用户标识')
feature = pd.merge(feature, x3, how='left', on='用户标识')

feature['放款前用户收入支出笔数差值'] = feature['放款前用户收入笔数'] - feature['放款前用户支出笔数']
feature['放款前用户收入支出总计差值'] = feature['放款前用户收入总计'] - feature['放款前用户支出总计']
feature['放款前用户非工资收入笔数'] = feature['放款前用户收入笔数'] - feature['放款前用户工资收入笔数']
feature['放款前用户非工资收入总计'] = feature['放款前用户收入总计'] - feature['放款前用户工资收入总计']

构建新特征后特征维度达到164维。

5.特征选择

构建特征后，特征维度达到164维，多维特征一方面可能会导致维数灾难，另一方面很容易导致过拟合，因此需要做降维处理，常见的降维方法有 PCA。除了采用降维算法之外，也可以用特征选择来降低特征维度。特征选择的方法很多:卡方检验、皮尔森相关系数、正则化方法(L1， L2)、基于模型的特征选择方法。

# 特征选择,基于卡方检验
# trains=SelectKBest(chi2,k=20).fit_transform(trains,target)

# 基于惩罚项的特征选择法
# trains=SelectFromModel(LogisticRegression(penalty='l1',C=0.1)).fit_transform(trains,target)

# 基于树模型的特征选择

# trains=SelectFromModel(GradientBoostingClassifier()).fit_transform(trains,target)

# 降维,基于pca

pca=PCA(n_components=50)

trains=pca.fit_transform(trains)
test=pca.fit_transform(test)

6.模型

这里主要尝试了LR和XGB，在效果上XGB更好，可能是因为XGB在训练的同时会进行特征选择。

parameters= [{
                  'max_depth':[3,5,7], ##5)
                  'learning_rate':[0.1,0.5, 1.0],#0.1
                  'subsample':[0.75,0.8,0.85,0.9],#0.8
                  'min_child_weight':[1,3,5]#5

                  }]
#parameters= [{'n_estimators':[100,200,500,1000]
#                  }]
clf = GridSearchCV(xgb.XGBClassifier(n_estimators=100,gamma=0，scale_pos_weight=1),
                   param_grid=parameters,scoring='roc_auc',n_jobs=4,iid=False,cv=5)
print('开始训练')
clf.fit(x_train, y_train)

参数解释：
learning_rate：学习速率
min_child_weight ：这个参数用来控制过拟合，如果数值太大可能会导致欠拟合。
max_depth：设置树的最大深度，控制过拟合，如果树的深度太大会导致过拟合
subsample：对原数据集进行随机采样来构建单个树。这个参数代表了在构建树时候对原数据集采样的百分比。eg：如果设为0.8表示随机抽取样本中80%的个体来构建树
scale_pos_weight：在样本类别十分不平衡时，参数设定为一个正值，可以使算法更快收敛
模型结果：

AUC:0.87

特征重要性输出：

image.png

可见最重要特征有用户性别、用户职业、用户婚姻状态、用户教育程度、用户户口类型、放款前浏览行为数据、放款前浏览行为数据最小值、放款前浏览子行为编号_8
可见除了基本信息外，用户的浏览行为是强有力的特征。

7.最终结果

不同方法及模型线下表现效果：

构建新特征后：

最终结果以逾期概率的形式上传到平台：

userid,probability
55597,0.3506719172000885
55598,0.3657565116882324
55599,0.3827580213546753
55600,0.36820918321609497
55601,0.34563612937927246
55602,0.36067867279052734
55603,0.36357182264328003
55604,0.3907186985015869
55605,0.34469443559646606
55606,0.3836720585823059
55607,0.3370608389377594
55608,0.38630616664886475
55609,0.3718336224555969

image.png

第一名成绩为0.4746，与之相比我还有很大差距，但经过这次比赛我学到了很多，主要是关于解决问题的思路，感谢诸位大神的博客，这次主要参考了微额借款用户人品预测大赛冠军的解决方案。
以上就是这次比赛的大概内容了！