模型评估
我们进行了特征选择，以及进行了WOE变换，然后我们可以建立模型了，莫新建立好之后，我们需要对模型进行评估，一个逻辑回归模型一般要达到三个标准：
1.精确性
2.稳健型
3.有意义
混淆矩阵
TN : True Negative ,分类准确的负样本 TP : True Positive ，分类准确的正样本 FN : False Negative ，分类错误的正样本 FP : False Positive ，分类错误的负样本
从混淆矩阵可以非常清楚的知道，样本的分类情况
KS曲线
KS曲线是将总体分为10等分，并按照违约概率进行降序排序，计算每一等分中违约与正常的累计百分比。
一般而言，KS能够达到0.2，模型能用，KS达到0.3以上，说明模型是比较好的
ROC曲线
ROC图的绘制方法和KS类似，但是坐标轴的含义不一样：
其中，sensitive 是真实的正值与总的正值的比例 :
specificity 定义为真实的负值占总负值的比例 :
ROC曲线下面的面积被称为AUC统计量，这个统计量越大，代表模型效果越好，一般而言，AUC大于0.75表示模型很可靠
PSI稳定性检验
群体稳定性指标(population stability index)公式：
psi = sum(（实际占比-预期占比) 乘以 ln(实际占比/预期占比))
举个例子解释下，比如训练一个logistic回归模型，预测时候会有个类概率输出，p。
在你的测试数据集上的输出设定为p1，将它从小到大排序后将数据集10等分（每组样本数一直，此为等宽分组），计算每等分组的最大最小预测的类概率值。
现在你用这个模型去对新的样本进行预测，预测结果叫p2，利用刚才在测试数据集上得到的10等分每等分的上下界。按p2将新样本划分为10分，这个时候不一定是等分了。实际占比就是新样本通过p2落在p1划分出来的每等分界限内的占比，预期占比就是测试数据集上各等分样本的占比。
意义就是如果模型更稳定，那么在新的数据上预测所得类概率应该更建模分布一致，这样落在建模数据集所得的类概率所划分的等分区间上的样本占比应该和建模时一样，否则说明模型变化，一般来自预测变量结构变化。
通常用作模型效果监测。一般认为PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复。
实现
scorecard包中的perf_eva函数可以非常方便的进行模型评价,其可以进行更多指标的评估：
data("germancredit")
# var_filter 可以根据制定的标准筛选特征，默认的是筛选IV值大于0.02，缺失率小于0.95，
# identical value rate 小于0.95
dt_f = var_filter(germancredit, y="creditability")
## [INFO] filtering variables ...
# 划分数据集合
dt_list = split_df(dt_f, y="creditability", ratio = 0.6, seed = 30)
# 获取样本的标签
label_list = lapply(dt_list, function(x) x$creditability)
# 进行Woe 分箱,默认的使用方法是树方法
bins = woebin(dt_f, y="creditability") # 这里可以得出分箱，以及WOE变换的详细信息
## [INFO] creating woe binning ...
# 还可以制定划分的方式
breaks_adj = list(
age.in.years=c(26, 35, 40),
other.debtors.or.guarantors=c("none", "co-applicant%,%guarantor"))
bins_adj = woebin(dt_f, y="creditability", breaks_list=breaks_adj)
## [INFO] creating woe binning ...
## Warning in check_breaks_list(breaks_list, xs): There are 12 x variables
## that donot specified in breaks_list are using optimal binning.
# 进行将数据转换成为WOE的值
dt_woe_list = lapply(dt_list, function(x) woebin_ply(x, bins_adj))
## [INFO] converting into woe values ...
## [INFO] converting into woe values ...
# 建立逻辑回归模型
m1 = glm( creditability ~ ., family = binomial(), data = dt_woe_list$train)
# 逐步回归
m_step = step(m1, direction="both", trace = FALSE)
m2 = eval(m_step$call)
# 进行预测
pred_list = lapply(dt_woe_list, function(x) predict(m2, x, type='response'))
# 模型的评价结果
perf = perf_eva(pred = pred_list$train,label = label_list$train,show_plot = c('ks', 'lift', 'gain', 'roc', 'lz', 'pr', 'f1', 'density'))
card = scorecard(bins_adj, m2)
score_list = lapply(dt_list, function(x) scorecard_ply(x, card))
perf_psi(score = score_list, label = label_list)
