自动化测试
软件测试概述
软件测试是一种用来促进鉴定软件的正确性、完整性、安全性和品质的过程，也就是在规定的条件下对程序进行操作以发现程序中的错误，衡量软件的品质并对其是否能满足设计要求进行评估的过程。由于Python的不是静态强类型语言，很多问题在没有运行到代码那一行时是无法发现的，所以测试显得尤为重要。
软件测试的一般性原则包括：
- 测试用例中一个必需的部分是对预期输出或结果的定义
- 程序员应当避免测试自己编写的程序；编写软件的组织不应当测试自己编写的软件
- 应当彻底检查每一个测试的执行结果
- 测试用例的不仅包括有效和预期的输入情况，而且包括无效和未知的输入情况
- 检查程序“没有做该做的事情”只是测试的一半，检查程序“做了不应该做的事情”是测试的另一半
- 要保留测试用例，除非软件本身就是一个一次性的软件
- 计划测试工作时不能先入为主的认为不会发现错误
- 程序某个部分存在更多错误的可能性与已经发现错误的数量成正比
测试用例的设计
软件测试中最为重要的因素是设计和生成有效的测试用例，由于时间和成本的约束，要实施完全的测试是不可能的，那么研究测试用例的设计就是要解决“在所有可能的测试用例中，哪个子集最有可能发现最多的错误”的 问题。
黑盒测试和白盒测试是软件测试中最普遍的两种策略：
黑盒测试：测试应用程序的功能，而不是其内部结构或运作。测试者不需具备应用程序的代码、内部结构和编程语言的专门知识。测试者只需知道什么是系统应该做的事，即当键入一个特定的输入，可得到一定的输出。测试案例是依应用系统应该做的功能，照规范、规格或要求等设计。测试者选择有效输入和无效输入来验证是否正确的输出。此测试方法可适合大部分的软件测试，例如集成测试和系统测试。
白盒测试：测试应用程序的内部结构或运作，而不是测试应用程序的功能。在白盒测试时，以编程语言的角度来设计测试案例。测试者输入数据验证数据流在程序中的流动路径，并确定适当的输出，类似测试电路中的节点。
上面已经提到过，无论是黑盒测试还是白盒测试，要穷尽所有的输入都是不可能做到的。在实施黑盒测试时，我们可以通过等价类划分、边界值分析、因果图分析、错误猜测等方法来选择有代表性的输入；同样，在实施白盒测试时，我们可以通过语句覆盖、判定覆盖、条件覆盖等方法来保障测试的覆盖度。
测试的阶段
单元测试：对软件组成单元进行测试，其目的是检验软件基本组成单位的正确性，测试的对象是软件设计的最小单位 - 函数。
集成测试：将程序模块采用适当的集成策略组装起来，对系统的接口及集成后的功能进行正确性检测的测试工作。其主要目的是检查软件单位之间的接口是否正确，集成测试的对象是已经经过单元测试的模块。
系统测试：系统测试主要包括功能测试、界面测试、可靠性测试、易用性测试、性能测试。
回归测试：为了检测代码修改而引入的错误所进行的测试活动。回归测试是软件维护阶段的重要工作，有研究表明，回归测试带来的耗费占软件生命周期的1/3总费用以上。
单元测试
单元测试是针对程序中的单个子程序或过程进行的测试，也就是说，一开始并不是测试整个程序而是先将注意力集中在构成程序的较小模块上。单元测试降低了调试的难度，因为能够准确定位到错误是在那个模块中，同时也为并行的测试多个模块提供了可能性。
Python的标准库里有为编写单元测试而准备的unittest模块，执行测试时建议使用pytest。pytest是一款能够自动搜索并执行测试的测试执行工具，并且会输出详细的错误报告。关于单元测试可以看看《Python必会的单元测试框架 - unittest》。
可以安装testfixtures库来辅助单元测试，它整合了多种典型配置器，提供了生成目录、更改系统日期、生成mock对象的功能模块，这些模块能够帮助我们将单元测试与单元测试所依赖的环境分离开。mock 是将测试对象所依赖的对象替换为虚拟对象的库，在测试的时候，我们可以为虚拟对象指定其在被调用时的返回值以及是否发生异常等。
WebTest是用于Web应用功能测试的库。它会对WSGI应用执行模拟请求并获取结果。基本上所有WSGI应用的测试都可以用它。
tox能便捷地为我们准备好执行测试所需的环境。tox会在多个virtualenv环境中搭建测试 环境，然后在这些环境中执行测试并显示结果。它能够把测试工具的选项及环境变量等内容统 一起来，所以我们只需执行tox命令即能轻松完成所需的测试。
Selenium
Selenium是实现Web应用程序的功能测试以及集成测试自动化的浏览器驱动测试工具群。和使用浏览器的用户相同，Selenium可以在浏览器进行的鼠标操作、在表单中输入文字、验证表单的值等，利用这一点就可以将手动操作变成自动化操作。
Selenium优点
- 自动化测试用例制作简单。Selenium提供了Selenium IDE工具，该工具可以捕获鼠标、键盘的操作，然后通过重放功能来重复这些操作，这样就可以简单的制作测试用例。
- 支持多种浏览器和操作系统。
Selenium的组件
与持续集成工具（CI）协作
持续集成指的是频繁的将代码集成到主干。它的好处主要有两个：
快速发现错误。每完成一点更新，就集成到主干，可以快速发现错误，定位错误也比较容易。
防止分支大幅偏离主干。如果不是经常集成，主干又在不断更新，会导致以后集成的难度变大，甚至难以集成。
持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是代码集成到主干之前，必须通过自动化测试，只要有一个测试用例失败，就不能集成。编程大师Martin Fowler曾经说过：“持续集成并不能消除Bug，而是让它们非常容易发现和改正。”
可以在Jenkins中安装“Seleniumhq Plugin”插件，这样就可以将Selenium IDE制作的测试用例保存为HTML格式并提供给Jenkins来使用，基本步骤是：
- 在执行测试的机器上，从版本控制系统中下载测试套件和测试用例。
- 在执行测试的机器上下载Selenium Server。
- 从Jenkins的“系统管理”中选择“插件管理”来安装“Seleniumhq Plugin”。
- 在Jenkins的“系统管理”中选择“系统设置”并配置“Selenium Remote Control”下的“HTMLSuite Runner”。
- 新建测试用的Jenkins任务并进行配置，配置的内容包括：浏览器、起始URL、测试套件和测试结果输出文件。
配置完成后，就可以执行Jenkins的“立即构建”了。
