diff测试,也可称为一致性测试,在这里是对代码输出结果的对比,具体来说,就是通过对比相同输入,相同接口,不同代码的测试,对比其结果的差异,从而发现潜在的bug。
Diff测试是我们接口基本功能测试的有效补充!当测试的接口响应中包括100+的字段需要校验时,对字段逐一校验的传统方式效率差的问题就会突显出来了。这种场景我们可以把某一版本(v1)接口的响应作为基准,然后再对比新版本(v2)的响应,通过工具或者编写代码直接查看响应的异同,进而快速定位接口响应信息。
diff 测试将新代码和旧代码并行运行,以便查找服务中的潜在错误。
例如:在接口方面可以提高自动化Bug召回率与场景验证。
diff测试常见的使用场景?
使用场景大致分为三类:
接口 diff 重点在Json Diff上
UI diff 重点在图像质量评价指标上,如何降噪,浏览器的兼容性测试
算法评估 diff 图像标注,数据标注,不同算法的针对性运用