验证标准

覆盖率: 提取出的信息条数/样本总数
召回率:提取出的正确信息条数/样本中的信息条数
准确率:提取出的正确信息条数/提取出的信息条数

Top 10w 每日覆盖率.png

提取出的信息条数:看是否有识别结果。
数据注意点:
1、需要剔除vivo同一天数据中,同一个号码+签名,对应多个商户的情况。
2、360返回的商户,与vivo目前返回商户需要做统一的归一化处理。避免因为大小写,空格带来的差异。

验收标准:
两个月周期内,整体平均覆盖率达到88%及以上。单日覆盖率不低于87%

号码覆盖率: 提取出的信息条数/样本总数

Top 10w 每日准确率 .png
Top 10w 每日召回率.png

识别场景:
1,若返回识别结果与当前vivo现有识别结果一致,则认为识别准确
2,若返回识别结果与当前vivo现有识别结果不一致,则认为识别错误
3,若返回识别结果为空,当前vivo现有识别结果不为空,则认为识别错误
4,若返回识别结果不为空,当前vivo现有识别结果为空,则需要人工抽检(判准标准:结合数据提供方提供的识别资料以及请求具体签名讨论得出)
5,若返回识别结果与当前vivo现有识别结果均为空,则不纳入计算范围。

提取出的正确信息条数:1
提取出的信息条数:1+2

号码识别准确率:提取出的正确信息条数/提取出的信息条数(即数据提供方识别总量) 。即号码识别准确率 = 1 /(1+2)

号码识别召回率:提取出的正确信息条数/样本中的信息条数(即vivo当前识别总量)。即号码识别召回率 = 1/(1+2+3)

验收标准(两个月周期内):
1,vivo商业化商户(我们负责给出)的识别准确率要达到99.5%及以上,单日准确率不低于99%
2,top 10w 号码+签名的识别准确率要达到99.3%及以上,单日准确率不低于99%

每日商户覆盖率(号码+签名 请求次数 >=10):

每日商户准确率(号码+签名 请求次数 >=10):

验收标准(两个月周期内):
1,单日请求次数>=10次的号码+签名,识别准确率达到98%及以上,单日号码准确率不低于98%

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容