覆盖率: 提取出的信息条数/样本总数
召回率:提取出的正确信息条数/样本中的信息条数
准确率:提取出的正确信息条数/提取出的信息条数

提取出的信息条数:看是否有识别结果。
数据注意点:
1、需要剔除vivo同一天数据中,同一个号码+签名,对应多个商户的情况。
2、360返回的商户,与vivo目前返回商户需要做统一的归一化处理。避免因为大小写,空格带来的差异。
验收标准:
两个月周期内,整体平均覆盖率达到88%及以上。单日覆盖率不低于87%
号码覆盖率: 提取出的信息条数/样本总数


识别场景:
1,若返回识别结果与当前vivo现有识别结果一致,则认为识别准确
2,若返回识别结果与当前vivo现有识别结果不一致,则认为识别错误
3,若返回识别结果为空,当前vivo现有识别结果不为空,则认为识别错误
4,若返回识别结果不为空,当前vivo现有识别结果为空,则需要人工抽检(判准标准:结合数据提供方提供的识别资料以及请求具体签名讨论得出)
5,若返回识别结果与当前vivo现有识别结果均为空,则不纳入计算范围。
提取出的正确信息条数:1
提取出的信息条数:1+2
号码识别准确率:提取出的正确信息条数/提取出的信息条数(即数据提供方识别总量) 。即号码识别准确率 = 1 /(1+2)
号码识别召回率:提取出的正确信息条数/样本中的信息条数(即vivo当前识别总量)。即号码识别召回率 = 1/(1+2+3)
验收标准(两个月周期内):
1,vivo商业化商户(我们负责给出)的识别准确率要达到99.5%及以上,单日准确率不低于99%
2,top 10w 号码+签名的识别准确率要达到99.3%及以上,单日准确率不低于99%
每日商户覆盖率(号码+签名 请求次数 >=10):
每日商户准确率(号码+签名 请求次数 >=10):
验收标准(两个月周期内):
1,单日请求次数>=10次的号码+签名,识别准确率达到98%及以上,单日号码准确率不低于98%