我们希望能够保证查准率和召回率的相对平衡。
当你改变临界值的值时,查准率和召回率会发生改变。一个较高的临界值(这个临界值可能等于0.99 ),我们假设只在有大于99%的确信度的情况下才预测y=1,至少有99%的可能性。 因此这个点反应高查准率低召回率。然而这里的一个点反映一个较低的临界值(比如说0.01 )毫无疑问,在这里预测y=1最后会得到很低的查准率和较高的召回率。
查准率-召回率曲线的形状有很多可能性,这取决于回归模型的具体算法。
假设我们有三个不同的学习算法或者这三个不同的学习曲线,是同样的算法,但是临界值不同。决定那个算法最好,可以通过一个具体的数字即评估度量值来反映。
两个极端情况:一个有非常高的临界值,一个有非常低的临界值。 它们中的任何一个都不是一个好的模型,我们可以通过非常低的查准率或者非常低的召回率判断这不是一个好模型。
试一试不同的临界值,然后评估这些不同的临界值在交叉检验集上进行测试,然后选择哪一个临界值能够在交叉检验集上得到最高的F值。这是自动选择临界值的较好办法(注意排除极端的情况)。