安全检测中常用的评价标准

当前很多安全产品尤其是涉及利用AI技术进行安全检测的场景中经常要用到评价标准,例如某公司新推出一种安全检测算法或者产品,大家都会问“检出怎么样?”,“误报怎么样?”,下面就此评价进行总结。

通常来说,检测率可以认为是精确率(precision rate),误报可以认为是误报率(false positive rate),以二分类为例,P为正类,N为负类,总体样本只由正类和负类构成。

精确率:precision = TP/(TP+FP)

误报率:fp = FP/(TP+FP)

解释一下TP是真正属于正类的样本,FP为错分为正类的样本。

此外,还会使用召回率来形容检测能力

召回率:recall = TP/(TP+FN)其中FN为正类样本错分为负类的样本

具体实例为:待检测有200个样本,其中属于正类的样本为120个,那么负类样本为80个,某检测算法(通常来说,某检测算法只检测出我们关心的那一类,比如我们很关心哪些是恶意的,那么检测算法就只是检测出恶意的)检测了100个(这100个为算法检测正类,这其中可能会有误报,也就是说100个里可能有负类样本),而100个里真正是正类的有97个,

那么该检测算法的精确率为97/100 = 97%\Theta %,误报率为3/100 = 3%%,召回率为97/120 = 81%。

从上例可以看出,精确率和误报率比较好计算,原因在于检测算法的检测数量都很明确,而召回率并不好计算,原因在于针对未知检测环境,待检测样本里到底有多少是正类和负类均为未知数,因此召回率较适用于测试样本集合。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容