7 软件测试执行管理

7.1软件测试执行基础

1，软件测试执行的内容：主要包括4项任务：

        • 执行测试计划预定的测试，包括执行所有已设计的测试用例

        • 记录原始测试数据

        • 记录缺陷

        • 对所发现的缺陷进行跟踪、管理和监控

软件测试的执行包括：手动测试，自动测试

软件测试执行的内容就是要决定怎样执行测试和测试什么决定测试执行的内容需要明确以下信息：

        a.测试执行依据的文档

        b.制定测试执行计划

        c.记录测试执行的结果

        d.执行测试的过程

        e.测试执行活动结束或终止

       f.核实测试结果并报告缺陷

        g.测试执行的准备

        h.测试执行过程

2，影响测试执行的因素：

实际软件测试过程中，测试资源、测试质量、测试时间之间相互制约

软件测试执行影响因素：

        • 测试计划

        • 测试环境准备

        • 测试实现

测试执行进度计划的影响因素：

        • 过程成熟度

        • 测试的时间

        • 测试的规模

        • 测试的资源

        • 产品的质量

        • 测试的文档

3，测试执行管理要考虑和关注的环节

        1）戴明环指导测试执行

        2）测试执行的起始

            • 记录测试执行结果

            • 测试执行的流程

            • 测试执行入口准则

            • 测试执行关键信息

    3）测试执行的结束

            • 确保所有的测试工作全部完成

            • 移交测试工作产品

            • 总结经验教训

            • 在配置管理系统中归档所有的结果、记录、报表和其他文档及交付物

4，软件测试执行的控制

    1）测试执行控制阶段的主要测试活动：

            按预定的计划执行测试

            确定测试执行范围和风险

            确定测试执行目的

            确定测试执行方法

            确定测试执行资源

            计划测试执行的进度

            确定测试执行入口准则和出口准则

            监控和记录测试执行过程

            度量和分析测试结果

            修正测试执行计划

            做出决定

   2）常用的度量指标

            a  在测试分析和设计中发现的缺陷数

            b  测试用例设计完成率

            c  测试环境准备的进度

            d  测试用例执行情况（如：测试用例执行率、测试用例通过率）

            e  缺陷信息（如：缺陷密度、发现和修改的缺陷比例、再测试的通过率）

            f  需求、风险或代码的测试覆盖率

            g  测试的成本

 3）对测试实现和执行阶段进行监控的度量方法：

        1.测试环境配置的百分比。

        2.测试数据装载的百分比。

        3.测试条件和测试用例执行的百分比。

        4.测试用例自动化的百分比。

4）评估出口准则和报告阶段涉及的度量：

    1.测试需求的覆盖率。

    2.测试用例的覆盖率。

    3.测试用例执行通过/失败的数目。

    4.提交的缺陷数目，根据缺陷的严重程度和优先级进行的分类。

    5.提交的缺陷数目，接受的缺陷和被拒绝的缺陷的比例。

    6.计划成本支出和实际成本支出的偏差。

    7.计划花费时间和实际花费时间的偏差。

    8.测试中识别的风险和处理的风险数目。

    9.由于事件制约因素浪费的时间。

7.2  软件测试执行结果的评估

1，测试通过与失败：测试执行对每一项要测试的内容都必须有个结论。即测试是否通过。

答案为“是(Yes)”或者“否(No)”。

通过：测试实际输出结果和测试期望结果一致

未通过：测试实际输出结果和测试期望结果不一致

  • 测试结果的不一致或者失败并不一定是由于测试对象的缺陷引起的，也许是因为测试环境出错、测试人员执行测试时人为误差等。

• 如果是由于测试对象引起的不一致，那么测试人员需要提交相应的缺测试

结果的比较：手动比较；自动比较

2， 测试覆盖率与通过率：测试执行人员应该正确理解四个度量指标

    测试覆盖率：是用来度量测试完整性的一个指标

    测试执行率：指实际执行过程中确定已经执行的测试用例比率

    测试通过率：用来度量测试执行结果的一个指标

    缺陷解决率：指某个阶段已关闭缺陷占缺陷总数的比率

3，测试通过标准

出口准则（Exit Criteria）:

    •可用于报告和计划什么时候可以停止测试

    •与利益相关者达成一致的通用和专门的条件，用于正式定义一个过程的结束点

    •出口准则的目的可以防止将没有完成的任务错误地看成任务已经完成评估测试

出口准则和报告阶段的主要测试活动有:

    •将测试状态和测试计划中的出口准则进行比较。

    •评估是否需要更多的测试执行，或者是否需要更改测试出口准则。

    •输出测试总结报告。

评估测试出口准则和报告阶段的主要输入:

    1）测试状态报告、缺陷状态报告、风险状态报告、项目测试周报告/月报告、测试出口准则和测试计划。

    2）回归测试所运行的用例全部通过。

    3）缺陷经过验证。

    4）所有缺陷都被指明处理方式。

    5）同行审查没有新的缺陷或没有严重缺陷产生。

对测试组所测试项目或产品的测试审查工作的基本原则:

    1）不依据所设计测试用例,进行自由测试。

    2）测试时间保持在3个正常工作日以内。

    3）如发现严重缺陷,则一轮测试结束后,更新版本并执行回归测试。

    4）提交当日测试纪录。

    5）编写同行审查总结报告(报告以简单为好)。

一种定义缺陷分类的方法：

A类—— 严重错误

(1)由于程序所引起的死机,非法退出

(2)死循环

(3)导致数据库发生死锁

(4)数据通讯错误

(5)严重的数值计算错误

B类—— 较严重错误

（1）功能不符

（2）数据流错误

（3）程序接口错误

（4）轻微的数值计算错误

C类—— 一般性错误

（1）界面错误(详细文档)

（2）打印内容、格式错误

（3）简单的输入限制未放在前台进行控制

（4）删除操作未给出提示

D类——较小错误

(1)辅助说明描述不清楚

(2)显示格式不规范

(3)长时间操作未给用户进度提示

(4)提示窗口文字未采用行业术语

(5)可输入区域和只读区域没有明显的区分标志

(6)系统处理未优化

E类——测试建议（非缺陷）

4， 测试执行结果报告：

定义：测试执行总结报告是将数据收集和分析结果进行文档化，并且提交给相应的团队作为以后项目的参考文档。测试执行总结报告是进行软件测试过程评估和改进的重要输入，也是进行相关开发过程改进和测试度量数据库更新的主要输入。

测试执行结果报告包含：

    ·一个测试执行的结果报告模板；

    ·缺陷状态报表；

    ·验收测试结果报告

    测试执行总结报告主要构成部分：

            • 概要信息

            • 测试风险

            • 测试工作量

            • 测试执行

7.3软件测试执行的最佳实践

1，测试执行注意事项

        ~全方位的观察测试用例执行结果

        ~加强测试过程记录

        ~及时确认发现的问题

        ~与开发人员良好的沟通

        ~及时更新测试用例

2，提高测试执行水平的十个注意点  :    工作效率、耐心、责任心、排查问题的能力、回归测试的覆盖度、敏捷测试模式的效率、注意细节、提高自动化测试覆盖度、不断自我提高、提高业务熟练度