评价指标对模型进行评测。
P（y=1的情况）P' 预测出的P
N (y=0的情况) N' 预测出的N
4中结果.TP y=1预测出来的P'也是1 。 FN：y=1预测结果错误了。依次类推
TP （真真 1）FN（假错 2）
FP（假真 3） TN （真错 4）
每个结果必然落入4个区间中一个。好模型1,4 情况多是最好的。
image.png
假如总共M个P样本。M个N样本。
正确率: (TP+TN)/(MP+MN)
95个正样本，5个负样本
95个中，预测出94个正样本，1个负样本。
5个负样本预测4个正样本。1个负样本。
正确率：94+1/100=95%
不太科学。原因只看了一边。对的很对，错的很错。
当预测错误时候出现这种情况
image.png
对一边的样本需要准确率和召回率
TP/(TP+FP) 准确率
TP(TP+FN) 召回率
image.png
正确率和召回率
image.png
大于0.5的是正样本。小于0.5的是负样本。
这个0.5阈值可以自己调整。
召回率和正确率使用场景。 他们是一对矛盾体。
召回率：分析涉黄信息时，宁可错杀不可放过。
正确率：精准推荐场景
结论：准确和召回和阈值有关，而阈值的选择依赖于产品形态。
有没有真正反映模型好坏的东西
ROC（曲线）,AUC(曲线下的面积)概念
真实正样本M个，负样本N
预测为正 为m n：负样本中预测为正的数据量
image.png
image.png
image.png
AOC值计算
image.png
完美AUC值=1.（曲线下的面积）一般0.5-1。
0.75-0.85算好。
image.png
AUC要的是区分度。
最终结论
image.png
