手自一体与预期结果生成
经过某次缺陷漏测事件的根因分析之后,团队决定宁可多验浪费,不可少验遗漏的原则,对返回值进行全部验证。
为了减轻全部验证带来的工作量的剧增,团队设计了“手自一体”的测试框架。在预期结果及验证部分,有如下的特点
1)采用了“运行结果作为预期结果”的方式,不再通过人工编写预期结果字段值,而是通过执行用例步骤来产生执行结果,然后再进行人工验证,确认执行正确无误后,再将执行结果保存成为预期结果。达到了用例设计与执行一体,手工用例与自动化用例一体的效果。
- 执行结果的调整。对于某些如时间戳、序列号等字段,由于每次运行时均不相同,且基本与被测业务无关,因此在测试框架中,还需要对指定的类似字段进行调整,在进行预期结果和实际运行结果比较时忽略这些字段。
通过上述调整后,就可以做到测试用例用例中预期结果的自动生成,而不是人工编写了。人只需要对结果进行稽核验证和调整即可,发挥的是测试人员的思考能力,而不是简单枯燥和重复的脚本和数据编写。
这个背后的逻辑是: “Do the thing right first time ,and any time”。