从零开始搭建一个简单的ui自动化测试框架04(pytest+selenium+allure)

四、自动化测试的持续集成(pytest+allure2+jenkins)

为什么要实现持续集成

回顾一下,先期我们所做的已经可以实现一个挺完整的测试过程了,从用例的管理到执行到报告的发送都可以实现,但目前还差个闭环。

目前我们的测试执行,是靠人手动执行的,无法实现无人值守,例如,我想实现,当项目工程代码被构建时,自动执行测试回归一下本次代码的改动有没有影响,如果只靠手动执行,就只能派个人等着构建结束了,极其不方便;此外,我的测试代码更新了,如果靠自己去上传,也很麻烦。

设想一下,如果实现了,我本地的测试代码更新之后,可以有个地方自动拉取我的代码,然后按我设定的时机(例如项目代码构建后,或者每天的固定时间)自动执行回归测试,测试完了自动给我发送测试结果,是不是更为理想的测试流程呢?而这也是持续集成的意义所在。

如果使用之前介绍的unittest的话,那么本章没有什么多余的介绍,只要配置好jenkins,然后新建一个执行用例的job就行了,不过本章打算介绍一个新的搭配方式,更方便,更简单。

安装pytest

pytest是python上的一个测试框架,兼容unittest的语法,因为之后的测试报告生成需要pytest的支持,所以我们要先装一下这个框架。

安装pytest:cmd界面输入命令:pip install pytest;

安装allure2

allure2是一个测试报告的框架,支持多种语言、测试框架,比起前面提到的HTMLTestRunner有着更加漂亮的界面,更加直观的图表统计,以及更为丰富的可添加信息。

allure2的界面:

image

安装allure2需要先配置java环境(推荐java8),以及安装pytest。

安装pytest_allure_adaptor:cmd界面输入命令:pip install pytest_allure_adaptor 。

这样allure2就安装好了。

在jenkins上使用pytest执行用例生成allure报告

jenkins是一个很著名的ci软件,这里就不多介绍了,安装完jenkins之后,我们需要先在jenkins上配置一下。

首先安装allure的插件,在jenkins---系统管理---管理插件---可选插件的列表里,勾选安装插件 Allure Jenkins Plugin 、HTML Publisher plugin;

然后进入jenkins---系统管理---全局工具配置,如下图配置好(不要完全照抄哦,参数是本地的话需要填你本地的路径):

image

image

再进入jenkins---系统管理---系统设置,拉到最下面,设置问题追踪,在Allure Report 下选择增加

Key: allure.issues.tracker.pattern Value: http://tracker.company.com/%s

如图配置:


image

最后进入jenkins---系统管理---脚本命令行,输入如下命令执行权限代码,点击执行

System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "default-src 'self'; script-src 'self' 'unsafe-inline' 'unsafe-eval'; style-src 'self' 'unsafe-inline';")

,如图配置:

image

这样我们在jenkins里的配置基本设置完了,接下来我们新建一个job来使用pytest运行我们的测试用例,并生成allure2的测试报告。

进入jenkins---新建item---输入你的任务名称---构建一个自由风格的软件项目,然后配置你的项目,在构建里输入命令:

python -m pytest 你测试用例的目录 --alluredir allure-result

再增加一个构建后操作,选择Allure Report,path里填上报告中间文件目录,也就是上面命令里的allure-result,再点击高级,设置最终生成报告的目录,在Report path里填上allure-report。
这里解释一下,allure是这样的,执行第一个命令:

python -m pytest 你测试用例的目录 --alluredir allure-result

的时候,其实是执行你的测试用例,并把结果生成一个中间文件,用于生成最终的报告,也就是说,这里生成的并不是最终的报告,allure-result只是中间文件的路径,这个路径需要和下面的构建后操作AllureReport里的Results的Path的值一致。
而Allure Report这个构建后操作其实是执行的另一个命令,大家在执行后的Console Output里也能看到这个命令,这里贴出来:

[Allure report] $ "C:\Program Files (x86)\Jenkins\tools\ru.yandex.qatools.allure.jenkins.tools.AllureCommandlineInstallation\allure\bin\allure.bat" generate "中间文件的路径" -c -o "最终报告的路径"

解释一下这个命令,C:\Program Files (x86)\Jenkins\tools\ru.yandex.qatools.allure.jenkins.tools.AllureCommandlineInstallation\allure\bin\allure.bat这个路径是allure转换报告工具的路径,这个工具你也可以单独下载,这里暂时不提;

generate是把中间文件生成最终报告的指令, -c -o 前面的是你中间文件的路径,之后的是最终生成报告的路径。

至此,我们的无人值守执行用例并自动生成报告就算实现了,我们可以给这个job设置执行时间点或者把这个job挂在别的构建项目下实现定点执行和定时机执行。

当然,还有最后一步,光是执行还不行,我们需要执行之后自动给我们发出通知,告诉我们执行的结果,这里用到的是jenkins的邮件通知插件Extended E-mail Notification,下面讲解一下怎么设置邮件通知。

首先我们安装这个插件,还是jenkins---系统管理---管理插件,然后在可选插件里搜索Extended E-mail Notification并安装。

安装完之后,进入jenkins---系统管理---系统设置,先找到Jenkins Location栏,设置系统管理员邮件地址为你的发件邮箱,然后找到Extended E-mail Notification栏,这里我以QQ邮箱举例设置,

先设置SMTP server为 smtp.qq.com;

Default user E-mail suffix填 @qq.com;

然后点开高级,勾选Use SMTP Authentication;

User Name填你的发件地址,和管理员地址保持一致;

Password填你的QQ邮箱的smtp服务授权码,而不是你的QQ密码,不知道的话自己去邮箱的设置页里找;

Use SSL勾选;

SMTP port填465;

下面的Default Recipients填你的收件地址;

Default Content内容稍微改一下,改为:

$PROJECT_NAME - Build # $BUILD_NUMBER - $BUILD_STATUS:

Check console output at ${BUILD_URL}allure/ to view the results.  

下面的Enable Debug Mode记得勾选,方便发送失败看日志,再点开Default Triggers设置你邮件的发送时机,到这里插件的设置就完毕了。

然后回到你上面job的配置页面,增加一个构建后操作Editable E-mail Notification即可。

现在,项目构建完之后就会自动把报告的地址发送给你预定的邮箱。

邮件内容:

image

参考资料

  1. Python + Allure(报告)+ Jenkins(持续集成)接口自动化测试环境搭建
  2. allure--开源 report 框架阶段性总结介绍
  3. Allure2-开源 report 框架介绍 (Allure+Jenkins)
  4. Allure Report
  5. Jenkins 邮件配置 (使用 Jenkins Email Extension Plugin)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容