一、模型训练
1、模型选择
定义：面向任务，选择最优的建模方法和参数。
建模可以使用不同的 “图纸” ：Logistic、SVM、Bayes ，根据三个不同的图纸，选择最像任务目标的模型。这是一种 的过程。
根据Logistic回归，设置不同的参数，比如Logistic回归有个参数alpha，分别设置为0.8、1、5 会生成出三个不同的模型。 根据不同的模型结果，我们可以判断哪个参数值最佳。这也是一种 的过程。
2、模型评价的方法
交叉验证：Cross Validation 将数据分为训练集和测试集，训练集构建模型，测试集评估模型，提供修改意见。训练集和测试集随机从总体样本中随机抽取，需要包含所有的特征值。
模型选择：个人建议先尽可能多的选择算法进行执行，比较执行结果。然后在最优的模型基础上进行参数调整。
3、工作中的数据集
1、原始数据：已知结果的样本数据，将原始数据根据一定比例分为训练集和开发集，训练集用来构建模型，开发集用来对模型调优。
2、新数据：未知结果的样本，当模型构建完成以后，从市场上获取的新数据，这些数据没有目标值，通过输入我们构建的模型输出结果。最后对这些结果进行调研，判断预测的准确性。
上述的流程是实际工作中的步骤，比如在天池比赛的时候能够获取到的只有原始数据，最后检测模型的时候才会用到新数据，用来对你的模型进行最后的评分。但在学习过程中没有新数据的来源，所以只考虑原始数据中的训练集和开发集，在后文中直接称为训练集和测试集。
二、模型评价的标准
1、分类评估指标
分类预测：在二分类问题中，如果预测目标是姓别(男=1,女=0)， 预测结果1表示正例，0表示负例
分类模型的测试一般会从以下几个方面进行比较：准确率、召回率、精准率、F值。
1、准确率：Accuracy = 提取出的正确样本数 / 总样本数。提取出的正确样本数 = 预测正确的正例+负例。
2、召回率 ：Recall = 正确的正例样本数 / 样本中的正例样本数 (覆盖率)
3、精准率：Precision = 正确的正例样本数 / 预测为正例的样本数
4、F值：Precision * Recall * 2 / (Precision+Recall) 即正确率和召回率的调和平均值。
不同的项目对于指标的选取不同。比如在金融反欺诈的模型中，1表示具有欺诈风险，0表示无风险，我们期望将真正有欺诈嫌疑的目标都预测出来，所以更多关注的是召回率。
事实上一个模型很难保证精准率和召回率同时都很高，比如：模型1(召回=85%，精准=89%)；模型2(召回=87%，精准=83%)；这种情况下各位会选择什么模型？此时可以计算F值来作为最后的衡量标准。如果最后F值都相同，个人建议使用准确率高的模型。(Sklearn中，默认的模型评价指标就是准确率。)
PS：那么对于多分类的问题，如何使用召回率、精准率进衡量？后续的文章会进一步说明，可以先自己思考一下。
2、混淆矩阵
混淆矩阵形成的是一个联表：
真表示预测正确，假表示预测错误。
解释 #(A)：预测是正例，且预测对了的数量。
True Positive 真正例 TP
False Negative 假负例 FN
False Positive 假正例 FP
True Negative 真负例 TN
FN少，意味着召回率小。所以尽量使预测结果中的FN减少。
| - | - | 预测值 | 预测值 |
|---|---|---|---|
| - | - | 正例 | 负例 |
| 真实值 | 正例 | 真正例(A) | 假负例(B) |
| 真实值 | 负例 | 假正例(C) | 真负例(D) |
A和D预测正确，B和C预测错误，测试计算结果为：
准确率 = #(A)+#(D) / #(A) + #(B) + #(C) + #(D)
召回率 = #(A) / #(A) + #(B) 样本中的正例样本数
精准率 = #(A) / #(A) + #(C) 所有预测为正例的
F值 = 2 * 召回率 * 精准率 / (精准率 + 召回率)
3、ROC曲线
用来描述混淆矩阵中，FPR和TPR直接的相对变化情况。
横轴 FPR：假正率； →
纵轴 TPR：正正率；↑
比如，预测一个二分类的概率问题。假设A出现的概率是p，A不出现的概率是1-p，根据调整p的值对样本进行预测。
第一次：p取0.1，根据计算获得对应的FPR、TPR的值
...
第N次：p取值0.9，根据计算获得对应的FPR、TPR值
p值的改变就是调参的过程，最后将所有的点连成一条曲线，以曲线、x=0、y=1连成的图形面积标记称为：AUC(Area Under Curvve)。
AUC的定义：ROC曲线下的面积，显然这个面积的数值不会大于1。ROC曲线一般都会处于 y=x 这条直线的上方，如果ROC位于 y=x 的直线下方，意味着模型的预测还不如随机预测的准确率高，那么将曲线的计算结果反向预测，就能得到一条以 y=x 为对称轴的对称曲线，显然若之前的预测成功率低于50%，那么对称的曲线必然高于50%。于是我们可以保证，AUC的取值范围在0.5和1之间。
AUC的值越大，说明模越好。
AUC = 1：完美分类器，用这个模型的时候，不管设置什么阈值(p的值不论怎么改变) 都能做出完美预测，即最初我们提到的造物主公式。一般情况下不可能获得这种分类器。
0.5< AUC <1：比随机猜测优秀，妥善设置阈值能够有预测的价值。
AUC = 0.5：和随机猜测没有区别，模型没有预测价值。
AUC < 0.5：比随机猜测还差，但只要进行反向预测，即可高于随机猜测。
可以参考一篇文献进行阅读：
https://www.cnblogs.com/gatherstars/p/6084696.html
4、回归评估指标
回归预测：对离散数据的预测，我们希望模型结果对预测范围的误差尽可能的小，比如一些连续型的数据（身高、体重）几乎不可能百分百得预测准确，因此误差越尽可能的小就是一个优秀的模型。
R2 ：可解释方差的回归评分函数 (explain_varicance_score)
R2 = 1 - ( ∑ ( 预测值 - 真实值 ) 2 / ∑ (真实值 - 平均值) 2 )
设有m个样本：
分子：1/m * ∑ ( 预测值 - 真实值 ) 2 = 平均平方误差
分母：1/m * ∑(真实值 - 平均值)2 = 方差（平均绝对误差 ）
如果是完美预测无误差，预测值 - 真实值= 0，即：平均平方误差=0
∴ R 的最大值 = 1-0 =1
如果很多预测值不准，则平均平方误差值会变得无穷大，而方差是一个固定值，无穷大除以固定值还是无穷大。
∴ R的取值范围是 (-∞，1)，R越接近1，说明预测结果越好。
思考：回归模型的评估能不能使用ROC？为什么？提示：混淆矩阵。
