使用Jenkins来调度不同种类的测试用例,需要先改造测试用例:
1. 设备的选择通过环境变量传递给UDID
2. 当并行执行case时,Chromedriver的端口,appnium server的端口等会发生冲突,所以不能全都使用默认端口,需要传入端口参数。
3. 业务数据的改造,解决并行导致的账号互踢,给不同设备分配不同的账号。
4. 需要拆分测试集,合理安排test suit,那些case是可以并行的,那些测试是需要串行执行的。可以用pytest的标签来分类,也可以用pytest的class name,或者文件名来对test case进行分组。
5. 测试框架使用Appium时,cnpm 安装的appium会有bug没无法使用并行测试,需要使用npm重新安装appium。
首先是在设置设备的capbility的时候,从环境变量中传入UDID(os.getenv('udid', None)),指定是在那个设备上执行测试用例。
然后是使用utils.free_port()获取一个未被使用的端口作为连接底层driver的systemPort(官网解释如下:systemPort used to connect to appium-uiautomator2-server or appium-espresso-driver. The default is 8200 in general and selects one port from 8200 to 8299 for appium-uiautomator2-server, it is 8300 from 8300 to 8399 for appium-espresso-driver. When you run tests in parallel, you must adjust the port to avoid conflicts. Read Parallel Testing Setup Guide for more details.)同样给chromedriverPort一个不冲突的端口号(Numeric port to start Chromedriver on. Note that use of this capability is discouraged as it will cause undefined behavior in case there are multiple webviews present. By default Appium will find a free port.)
可以设置combination filter来控制case跑在那些指定的设备上,当filter设置为index%2 ==1时,case会选择其中一个设备来运行,保证每个case只跑一次:
给对应的设备添加节点Node,# of executors设置为1,表示这个节点上一次自能同时跑一个case。在环境变量里添加这个节点对应的设备的udid:
用Jinkens提供的命令启动这些节点:
修改项目的配置,在Configuration Matrix下面添加test suite,也就是那些test suite需要执行,这里用的是pytest的文件名:
Agents,选择对应的节点:
保存项目,能看到一个矩阵式的表格,第一列是需要运行的测试文件,第一行是运行这些case的设备node:
运行项目,会发现总任务在master上,然后master将任务分配给下面的节点执行:
执行完成之后,能看到每个case只在一个设备上运行一次,这样测试的执行策略就完成了:
执行策略跑通之后,需要开始定义测试的具体的执行命令: