准确率和召回率应用于信息检索InformationRetrieval和文本分类TextClassification
如果我们将一个样本集进行分类,那么结果将会有四种情况:
Classified Positive Classified Negative
Actual Positive TP FN
Actual Negative FP TN
where: TP True Positive
FP False Positive
FN False Negative
TN True Negative
上述表格被称为Confusion Matrix
接下来我们引入三个指标对分类进行评价:
1. 准确率Precision:表示的是预测为正的样本中有多少是真正的正样本。衡量的是检索系统的查准率。P is the number of correctly classified positive examples divided by the total number of examples that are classified as positive.
2. 召回率Recall: 表示的是样本的正例中有多少被预测正确了。衡量的是检索系统的查全率。r is the number of correctly classified positive examples divided by the total number of actual positive examples in the test set.
3. F1-Score: 准确率和召回率的综合指标。F1-Score combines precision and recall into one measure.
计算公式如下:
有时考虑到不同的需求,准确率和召回率有不同的权重,我们可以引入F2-Score和F0.5-Score.
接下来是ROC曲线Receive Operating Characteristic Curve和AUC面积Area Under Curve
对于一个混淆矩阵,我们可以计算两个指标,TPR召回率和FPR:
ROC曲线就是以FPR为x轴,TPR为y轴画图得到。
AUC的值是ROC曲线下的面积,面积越大,表示模型分类越精确。 一般分类器的AUC值在0.5到1之间,0.5表示区分能力和随机猜测没有区别,1表示模型完美精准。
同时与F1-Score相对应的有G-Mean,是在统计学科中的评价指标:
1. Sensitivity灵敏度: Same as TPR
2. specificity特异度: also called True Negative RateTNR. TNR = TN / (TN + FP)
FPR = 1 - Specificity