软件自动化测试的内容
标识测试条件
- 确定为什么测试,以及测试“什么”并最好定义这些测试需求和测试类型。
- 测试需求(test requirment)取决于被测试验证的项目或事例。
- 确定被当作测试对象的各项需求,例如用例,功能性需求和非功能性需求。
- 测试有不同的类型,如功能测试,性能测试,安全测试等,配置测试,压力测试,业务周期测试。数据和数据库完整性的测试;用户界面测试,容量测试,故障转移和恢复测试,安装测试等。
注意标识测试条件的活动最好与开发活动并行开展。
设计测试用例
- 确定“怎样”测试。
- 测试用例(test case)是按一定顺序执行的与测试目标(test object,测试理由或目的)相关的一系列测试。
软件自动测试的内容
执行测试用例
- 在被测软件运行时使用测试用例。
- 对于手工测试来讲,测试者按事先准备好的手工过程进行测试。测试者输入数据、观察输出、记录发现的问题。
- 对于自动测试,可能只需启动测试工具,并告诉工具执行哪些测试用例。
- 测试执行只能在软件开发完成后执行。
将测试结果与期望输出比较
- 自动测试结合了两种方法进行比较:信息比较,如可以在执行测试时进行显示屏幕上的消息;输出比较,如修改数据库记录,只能在测试执行结束后进行。
软件测试自动化的方法
测试件结构:
测试件是用来描述测试所需的所有“作品”的术语,包括文档、脚本、数据和期望输出,还有测试产生的所有产物,包括实际输出、差异报告和总结报告。
测试件组就是测试产物(脚本,数据文件等)的逻辑集合。
测试集是一个自包含环境,可运行所有选中的测试事例。测试集很简单,是测试件组的集合。测试集包含所需的测试件组。
测试件库是所有测试件组的原版本的仓库,长期存储了所有测试材料(测试数、脚本、文档等)必须复制这些材料来运行。
脚本技术:
线性脚本
- 结构化脚本: 类似于结构化程序设计,结构化脚本中含有控制脚本执行的指令。
- 共享脚本: 脚本可被多个测试事例使用,这意味着脚本语言允许一个脚本被另一个脚本调用.
- 数据驱动脚本:将测试输入存储在独立的(数据)文件或数据库等中,而不是存储在脚本中。
- 关键字驱动脚本:实际上是较复杂的数据驱动技术的逻辑扩展。
比较技术:
测试验证是检验软件是否产生了正确输出的过程,是通过在测试的实际输出与预期输出(例如,当软件正确执行时的输出)之间完成一次或多次比较来实现的。
对于自动测试而言,这两组数据指的是测试运行中产生的输出与预期输出。这些测试数据会显示在屏幕上,或者保存在文件或数据库中,数据可以是各种各样的格式,包括标准文本。在测试执行工具中嵌入比较器功能的地方,数据很有可能是屏幕图像。
可以比较的工具取决于比较工具的性能。一些商业比较器具备比较多种不同数据格式的功能。用最简单的比较器只能比较标准文本文件,但是高级复杂的比较器可以比较更加得复杂和专用的数据格式,包括图形格式和数据库内容。比较的原则如下:
- 保持简单
- 编制比较的文档
- 尽量标准化
- 分割和驾御
- 记住效率
-
避免比较位图
自动化测试框架与RobotFramework介绍
测试框架的职责
•定义一种统一的方式来书写和组织测试用例(测试步骤,测试数据与期待返回值);
• 集成不同的测试驱动技术;
• 控制测试用例的执行过程;
• 生成测试报告和测试日志;
RobotFramework简介
Robot Framework 的架构是一个通用的验收测试和验收测试驱动开发的自动化测试框架(ATDD)。它具有易于使用的表格来组织测试过程和测试数据。
Nokia Siemens Networks开发并提供支持,开源的框架
易于使用,采用表格式语法,统一测试用例格式;
• 重用性好,可以利用现有关键字来组合新关键字;
• 支持变量;
• 支持创建基于数据驱动的测试用例。
• 结果报告和日志采用HTML格式,易于阅读;
• 提供标签以分类和选择将被执行的测试用例;
• 平台、应用无关;
• 功能全面,支持WEB测试(Selenium)、Java GUI 测试,
启动线程、终端、SSH等;
• 易于扩展,提供了简单API,用户可以自定义的基于Python
或者Java的测试库;
• 易于集成,提供了命令行接口和基于XML的输出文件;
• 易于与版本管理集成;
RobotFramework安装
•安装Python,并确认python版本
•安装robotframwork:pip install robotframework
•安装wxpython: https://sourceforge.net/projects/wxpython/files/wxPython/2.8.12.1
下载32或64位的版本,注意位数和python的位数一致。
•安装robotframework-ride: pip install robotframework-ride
•windows命令行运行ride.py
•制作ride的快捷方式(Windows):在C:\Python27\Scripts找到发送快捷方式到桌面
安装注意: Robotframwork对python3支持不够好,尤其是robotframework-ride,不支持python3。
RobotFramework安装
•验证
打印hello world
点击File -- New Project,输入name,Type选择Directory,Format选择Robot
右击选择新建的工程,选择New suite,输入名字,其他默认
右击新创建的test suite,选择new test case
在test case中输入第一个单元格输入log, 第二个输入hello world
运行:方式1 点击Tools,点击Run Tests;方式2 点击 Run Tests图标
查看日志
RobotFramework的报告展示页面做得不错,让新手可以很快领略到自动化测试的乐趣。但是RobotFramework的库开发维护把很多简单的事件搞复杂了。为此RobotFramework比较适合比较简单的验收测试场景。对于比较python的人而言,RobotFramework反而是个负担。
单元与接口自动化测试
简介
单元测试基于pytest,junit等框架,本身就可以在命令行执行,生来就是自动化的。
请参考单元测试部分的讲义。
接口测试可以用单元测试框架进行封装,实现自动化。
测试自动化的原则是尽量多从单元的角度考虑,其次接口(集成),尽量少做UI层的自动化。越往上越使测试后置,越难维护。
UI自动化测试
测试框架生成用户界面的事件,如按键和鼠标点击,并观察用户界面的变化结果,以验证该观测到的行为的程序是否正确。许多测试自动化工具提供的记录和回放功能,让用户能够记录用户的交互行动和重播。这种方法的优点是它需要很少或根本没有软件开发。但是稍有改变,维护工作就比较大。
web测试是GUI的变种,它是阅读的HTML不是观察窗口事件,使用的技术有很大差异。
Windows平台有大量的UI自动化测试工具,包含Testcomplete,QTP等商业工具。免费或者开源的AutoIT、selenium、Sikuli 等。
Linux有Sikuli 、 selenium 、LDTP 等工具
Android有Appium、 Uiautomator、 espresso等工具
IOS有Appium、 Calabash、MonkeyTalk等工具
- 参考资料
某公司测试平台介绍
互联网业务测试现状:
- 开发周期短
- 大量的回归测试和扩容测试
- 应用自动化测试的目的:
- 提高手工测试的效率
- 覆盖手工测试无法测试的领域(运营环境)
- 自动化测试平台的功能
- 回归测试(包括日常回归和版本回归)
- 线上验证
- 自动化监控
某公司测试平台需求
- 用户权限管理
- 导航树
- 搜索
- CGI管理
- 自动化用例管理
- 格式化解析
- 参数化
- 断言
- 批量执行
- 结果展示
参考资料
- 讨论qq群144081101 591302926 567351477 钉钉免费群21745728
- 本文最新版本地址
- 本文涉及的python测试开发库 谢谢点赞!
- 本文相关海量书籍下载
-
本文源码地址
flask构建自动化测试平台1-hello
软件自动化测试初学者忠告