自动化测试框架pytest教程14-第三方插件

第三方插件简介

正如pytest开箱即用的强大功能一样,当我们将插件添加到组合中时,它将变得更加出色。pytest的代码库被设计成允许定制和扩展,并且有一些钩子可以通过插件进行修改和改进。

你可能会惊讶地发现你已经写过一些插件了。任何时候你把固定装置和/或钩子函数放到项目的conftest.py文件中,你就创建了一个本地插件。把这些conftest.py文件转换成可安装的插件,只是一点额外的工作,你可以在项目之间、与其他人、或与世界分享。

参考资料

寻找插件

你可以在几个地方找到第三方的pytest插件。

pytest的主要文档网站包括按字母顺序排列的插件列表,这些插件来自pypi.org。

Python Package Index (PyPI) 是一个获得大量 Python 包的好地方,但它也是寻找 pytest 插件的好地方。当寻找pytest插件时,搜索pytest、pytest-或-pytest应该很有效,因为大多数pytest插件要么以pytest-开头,要么以-pytest结尾。你也可以通过分类器 "Framework::Pytest "进行过滤,这将包括那些包含pytest插件但不以pytest-或-pytest命名的包,如Hypothesis和Faker。

GitHub上的pytest-dev组是保存pytest源代码的地方。在这里也可以找到许多流行的pytest插件。对于插件来说,pytest-dev组的目的是作为流行的pytest插件的中心位置,并分担一些维护责任。更多信息请参考docs.pytest.org网站上的 "向pytest-dev提交插件"。

pytest文档主站有一个关于安装和使用pytest插件的页面,并列出了一些常见的插件。

常见插件

pytest,默认情况下,以一种可预测的流程运行我们的测试。给定一个测试文件的目录,pytest将按字母顺序运行每个文件。在每个文件中,每个测试都是按照它在文件中出现的顺序运行。

有时候,改变这个顺序是很好的。下面的插件在某种程度上改变了正常的测试运行流程。

  • pytest-order-允许我们用标记来指定顺序。

  • pytest-randomly-随机化顺序,首先按文件,然后按类,然后按测试。

  • pytest-repeat-使我们可以很容易地重复单个测试或多个测试的特定次数。

  • pytest-rerunfailures-重新运行失败的测试。对不稳定的测试有帮助

  • pytest-xdist-并行运行测试,可以使用一台机器上的多个CPU,或者多个远程机器。

正常的pytest输出主要显示通过测试的圆点,以及其他输出的字符。如果你输入-v,你会看到测试名称的列表和结果。然而,有一些插件可以改变输出。

  • pytest-instafail-添加一个-instafail标志,在测试失败后立即报告回溯和失败的输出。通常情况下,pytest会在所有测试完成后报告失败测试的回溯和输出。

  • pytest-sugar-显示绿色复选标记,而不是通过测试的点,并有一个漂亮的进度条。它也会像 pytest-instafail 一样即时显示失败的情况。

  • pytest-html-允许生成html报告。报告可以用额外的数据和图片来扩展,如失败案例的截图。

pytest被广泛用于测试Web项目,所以有一长串的插件来帮助Web测试也就不足为奇了。

  • pytest-selenium-提供固定装置,允许轻松配置基于浏览器的测试。Selenium是浏览器测试的一个流行工具。

  • pytest-splinter-建立在Selenium之上,作为一个更高层次的接口,这使得Splinter可以更容易地从pytest中使用。

  • pytest-django和pytest-flask-帮助使用pytest更容易测试Django和Flask应用程序。Django和Flask是Python中最流行的两个Web框架。

我们在Combining Markers with Fixtures中使用Faker来生成卡片摘要和所有者数据。在不同的领域有很多情况下,生成假数据是有帮助的。毫不奇怪,有几个插件可以满足这个需求。

  • Faker-为你生成假数据。提供与pytest一起使用的faker夹具。

  • model-bakery-生成带有假数据的Django模型对象。

  • pytest-factoryboy-包括Factory Boy的固定装置,一个数据库模型数据生成器。

  • pytest-mimesis-生成类似于Faker的假数据,但Mimesis的速度要快得多。

扩展pytest功能的插件:所有的插件都扩展了pytest的功能,但我已经没有好的分类名称了。这是一个由各种很酷的插件组成的抓包。

  • pytest-cov-测试时运行覆盖率

  • pytest-benchmark-对测试中的代码进行基准计时。

  • pytest-timeout-不要让测试运行太长时间

  • pytest-asyncio-测试异步函数

  • pytest-bdd-用pytest编写行为驱动开发(BDD)风格的测试

  • pytest-freezegun-冻结时间,这样任何读取时间的代码在测试中都会得到相同的值。你也可以设置一个特定的日期或时间。

  • pytest-mock-围绕unittest.mock修补API的一个薄的包装。

虽然许多人可能会发现本节中列出的插件很有帮助,但有两个插件在帮助加快测试速度和寻找测试之间的意外依赖方面几乎得到了普遍认可:PYTEST-XDIST和PYTEST-Randomly。接下来让我们仔细看看这两个插件。

使用Parallel并行运行测试

pytest-xdist插件可以指定多个处理器并并行运行许多测试。你甚至可以把测试推到其他机器上,使用不止一台计算机。

例如,让我们看一下下面这个简单的测试。

ch14/test_parallel.py

import time


def test_something():
    time.sleep(1)

运行它大约需要一秒钟。如果我们使用 pytest-repeat 在 --count=10 的情况下运行 10 次,应该需要 10 秒左右。
现在我们可以通过在四个CPU上用-n=4并行运行这些测试来加速事情。

$ pytest --count=10 -n=4 test_parallel.py
============================= test session starts =============================
platform win32 -- Python 3.9.13, pytest-7.1.2, pluggy-1.0.0
rootdir: D:\code\pytest_quick\ch14, configfile: pytest.ini
plugins: allure-pytest-2.12.0, Faker-4.18.0, tep-0.8.2, anyio-3.5.0, cov-4.0.0, repeat-0.9.1, xdist-3.1.0
gw0 I / gw1 I / gw2 I / gw3 I
gw0 [10] / gw1 [10] / gw2 [10] / gw3 [10]

..........                                                               [100%]
============================= 10 passed in 4.30s ==============================

在-n=auto上运行是一个更好的做法,以获得最好的加速。老实说,我不知道这怎么会有这么好的效果,但即使我有六个核心,-n=auto也比-n=6快。

pytest-xdist插件还有一个不错的功能:--looponfail标志。--looponfail标志使你可以在一个子进程中重复运行测试。每次运行后,pytest等待,直到项目中的一个文件发生变化,然后重新运行之前失败的测试。这样反复进行,直到所有测试都通过,然后再进行一次完整的运行。这个功能对于调试大量的测试失败是非常酷的。

随机测试顺序

pytest-randomly插件在随机化测试顺序方面非常出色。它还能随机化其他随机工具的种子值,如Faker和Factory Boy。让我们在几个简单的测试文件上试试吧。

ch14/random/test_a.py

def test_one():
    pass


def test_two():
    pass

ch14/random/test_b.py

def test_three():
    pass


def test_four():
    pass

如果我们正常运行这些,我们会得到第一到第四个测试。

$ cd path/to/code/ch14/random

$ pytest -v
============================= test session starts =============================
platform win32 -- Python 3.9.13, pytest-7.1.2, pluggy-1.0.0 -- D:\ProgramData\Anaconda3\python.exe
cachedir: .pytest_cache
rootdir: D:\code\pytest_quick\ch14, configfile: pytest.ini
plugins: allure-pytest-2.12.0, Faker-4.18.0, tep-0.8.2, anyio-3.5.0, cov-4.0.0, repeat-0.9.1, xdist-3.1.0
collecting ... collected 4 items

test_a.py::test_one PASSED                                               [ 25%]
test_a.py::test_two PASSED                                               [ 50%]
test_b.py::test_three PASSED                                             [ 75%]
test_b.py::test_four PASSED                                              [100%]

============================== 4 passed in 0.09s ==============================

安装 pytest-randomly, 在使用pytest -v执行就已经是随机顺序。

确保你的测试以随机顺序运行良好,这似乎是一件奇怪的事情。然而,没有正确隔离的测试已经造成了许多深夜的调试过程。定期随机化你的测试可以帮助你避免这些问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355

推荐阅读更多精彩内容