昨天自信满满的组织进行项目性能测试，没想到测试效果远不及预期，着实打脸了。不禁感叹，没想到在这里翻船了！痛定思痛，还是要好好分析复盘一下！
先跟大家介绍一下性能测试的背景。
在一套自动化的视觉检测系统需要替代人工进行产品缺陷检测时，通常会进行人与机器的对比测试中（行业内成为Knapp测试），评估设备是否在约定的检测项目上优于人工，如果是，则说明用机器替代人工风险更低、效果更优，也就通过了性能测试，可以替代人工检测 保证生产产品的质量。
对比的方法简单的说是这样：
样品制备：选取各类有代表性的缺陷样品80瓶，再混入170瓶在线生产随机产品 共计250瓶测试品；
人工测试：5名代表客户平均检测水平的工人，每人分别讲250瓶待测品 检测10次，统计每瓶检出次数；
机器测试：机器检测10次，统计检出次数。
对比分析：对比人工检出率再70%次以上产品 总检出次数M 与 机器的相对于的检出次数N；N/M =效能比值；对比谁的检出次数更高，则谁的检测性能更优，也就是 效能比值100% 人机相当； 100%以上 则说明 机器优于人工。
昨天打脸的测试结果出来以后，分析发现：其中一种缺陷类别 人工检出率异常的高！之前测试中只有40%左右检出率，这次竟然高达接近90%！仅此一项，人机对比差距就拉开了。俗话说，事出反常必有妖！明天要对这类缺陷的样品进行细致的检查，看看这么大的差异哪里产生的，样品上难道有什么人工容易识别的标记吗？
于是今天上午第一时间跟客户甲方分管副总简单汇报了昨天测试情况，表示我们会针对本次测试继续分析和调优的态度。之后便直奔样品间把测试样品找出来仔细检查。项目组小张眼睛比较尖，很快便发现了异常：
“这几瓶样品的盖子凹陷处都有一些印迹，比合格的瓶子看着有些东西！“
天呢，还真有猫腻！都不敢相信这是真的。其他那些样品我们都翻开，确实如此：合格品干净无任何标记，缺陷样品中有30来瓶都有类似特征！
经我们现场核实，标记色彩特征跟检测工人所用的色标笔色彩非常相似。其他的不用多说了，含蓄的告知了甲方的主任，缺陷样品里有一些特殊的标记，主任有没再往下接着探讨下去....
后面了解到主任随后就向他们分管副总电话汇报了，后续如何处理,甲方自己去消化吧，毕竟不是什么光彩的事情。听小道消息 是从其他车间调来支援测试的2名班长 趁我们在外面培训规则的时候，把样品拿出 做了标记，并告知了其他3为检测工人。
当然我们也不愿去追究，只要客户重视 后续避免就好了。毕竟作为乙方 努力把项目做到最好，服务好客户 才是我们应该去努力的。
在之前的摸底测试中，人工检出率远低于机器，在一次交流会上我司代表把人工检出率低情况如实阐述，并提醒客户关注人工检测漏检风险，应注意提高人工检测水平。搞得客户大小主管领导很没面子。也许就因为这个导致客户的检测工人被批评了，在后续测试中他们确实提高了，用了这个出其不意的办法“提高”了检出率！
有人说商场如战场，项目大了 关系人复杂了确实可能会出一些幺蛾子。若不时这次经历，从没想过这些事情会发生在我们身上。
警醒自己：小心使得万年船，事出反常必有妖。切不可经验主义的自信，不要成为 善游的溺着。
再有就是：得饶人处且饶人！凡事留一线 日后好相见！
