一、样本与目标变量的定义
A卡样本的确定：
同时考虑实际业务特性，如最好至少覆盖12个月（季节波动），模型的稳定性非常重要。假如模型（数据分析）的性能对样本时间窗口高度敏感，改变数据时间范围后的预测结果或分析结论完全不同，则需慎重考虑业务原因、样本选择或建模技术是否合理。
要避免观测性数据的自选择偏差，要确保样本是建模总体的随机观测，避免系统性差异。如果你在A航空公司的航班上调查“会考虑选择搭乘A公司航班”的旅客比例，你会发现热爱A公司的顾客比例可能超过了50%，可A公司在市场中占比甚至不足10%。这是因为调查样本局限在“随机选取”的A公司航班的旅客群体之中。又例如幸存者偏差，公司员工对公司满意程度显示90%都满意，但离职了仍居高不下，是因为离职样本的缺失，离职的员工满意度应当设为0。
样本的剔除：对于一些特殊类型的客户，如其行为无法预测（如：已故客户）的或帐户不适合模型参数的，将不包括在申请评分模型的模型开发中，如：
欺诈账户（非信用风险范畴）、政策拒绝账户（不使用申请评分模型管理）、重复或未完成申请（无最终决策）、商务卡账户（不属于零售风险范畴）、员工卡\学生卡账户（特殊类别人群，不使用评分卡管理）、年龄小于18岁或大于65岁（政策上非准入人群）、特殊产品或特殊渠道申请（不使用申请评分模型管理）、表现期有遗失/失窃卡片账户（此类行为表现可能无法反映持户人的真实行为）、表现期客户死亡账户（此类行为表现可能无法反映持户人的真实行为）、表现期有争议（此类行为表现可能无法反映持户人的真实行为）、表现期纯费用逾期、未激活账户（无行为表现）。
客户标签的定义：逾期天数作为标记依据，通过滚动率选择合适的逾期天数。
二、模型开发处理
细分模型开发：整体模型的开发、维护成本更低，可对整个客户群体建立一个评分模型，评估每个集内的各个细分主评分模型的有效性。只有当针对细分的评分模型明显地优于针对更广泛群体的评分模型时，才能证明针对单独细分的评分模型更合理。
样本量过少的处理：如果样本量足够大、足够有代表性，可以对好样本进行欠抽样至目标好坏比；如果不够，可以对坏样本进行过抽样，但是在最后将概率值校准回实际好坏比。
变量选择：缺失率、同一性、IV、稳定性（直接跑训练、验证、测试样本的PSI）、相关系数\VIF共线性（WOE编码后的特征）、分箱趋势是否符合业务逻辑、逐步回归、p值。
剔除相关性高的变量，一般依据为相关系数>0.4、VIF共线性检验等。需要注意的是，不止LR需要，xgb或lgb也需要，因为一般会用feature_importance>5来过滤变量，当较多变量相关时，会降低每个变量的权重（debug）。
尽量不使用准入规则、策略（视风控流程考虑）相同的变量，会导致模型性能波动（策略修改很频繁）、样本特征分布有偏。
概率校准：不平衡数据集场景下过采样训练后使用，单个模型不需要校准，如需和其他模型比较、融合（即使未过采样也要min-max进行预测概率尺度统一）需进行校准。
拒绝推断：如果之前的审批策略和模型效果不是很好，说明被批准的客户群体和被拒绝的客户群体的分布更加接近，这种情况下拒绝推断反而不是那么的必要；如果之前的策略和模型效果很好，被批准的客户群体和被拒绝的客户群体的偏差较大，此时拒绝推断会使模型客群更加接近真实分布。
分箱和概率转换的目的：处理极端值，可以直接将极端值合并到最大或最小的分箱中；使模型更加稳定，变量微小的变化不一定改变评分结果；使自变量和目标变量呈正相关的关系，符合逻辑回归的假设。
三、模型检验
模型的系数同正负：在经过WOE转化后，自变量的取值已经和目标变量全部呈正相关（WOE计算时为坏比好）或负相关（WOE计算时为好比坏），因此如果模型系数出现个别变量与其他变量方向不同，很可能是出现了共线性的情况，需要再进一步仔细的筛选变量。
模型通过的切分点：通过率要求、使K-S曲线达到最大值的点、综合考虑精准率和召回率计算F-score。
模型性能评价：验证集、测试集、上线后的监控指标，包括模型KS、AUC、PSI，单变量的IV、分组坏客户率、PSI。
一般A卡的ks大于30为好，低于20和瞎猜没区别，训练和测试集的ks相差5个点以内，表明没有发生明显的过拟合。
模型部署方式：SAS、存储跑批、PMML、使用flask或Django写接口上线，一定要确保变量训练与部署时的逻辑完全一致。
四、模型策略应用
模型线上AB测试：两套模型竞争，一个champion做决策，和一个challenger空跑。也可champion 70%，challenger 30%。
B卡非均衡应用：5万正样本，200负样本，即使过采样也意义不大（自身携带的信息量比较少）， 学习不完全。评价函数增加一项：负样本的召回率（即此时不关注KS，而关注负样本可以抓到多少），且负样本训练时进行加权（sklearn默认的balanced参数即可）。如果可能生成决策树，使坏账从0.4%（200/50000）下降，就不错。
需要熟悉敏感的：各种分布（变量的、分数的）、基本运营指标（通过率、M1逾期率）
附，参考资料：
1、评分卡项目建模标准流程，内部资料。
2、智能风控答疑文档，https://zhuanlan.zhihu.com/p/77095933
