pytest插件探索——hook workflow

pytest插件开发需要熟悉一些常用的hook函数，官方对于这些hook有一份简略的文档（目前除了小部分hook目前缺乏文档外，见这个issue），但是各个hook的调用逻辑没有一个直观的flowchart（这个也有人提了issue）

根据pytest core developer-Bruno Oliveira的提示，通过使用向pytest传递--debug选项然后运行测试，我们就可以在当前目录得到一个类似如下内容的pytestdebug.log：

versions pytest-4.3.0, py-1.8.0, python-3.6.4.final.0
cwd=E:\Dev\debug_pytest
args=['tests\test_setup.py', '--debug']

pytest_cmdline_main [hook]
​ config: <_pytest.config.Config object at 0x000002119BA91080>
pytest_plugin_registered [hook]
​ plugin: <Session debug_pytest>
​ manager: <_pytest.config.PytestPluginManager object at 0x000002119B22BD30>
finish pytest_plugin_registered --> [][hook]
pytest_configure [hook]
​ config: <_pytest.config.Config object at 0x000002119BA91080>
​ pytest_plugin_registered [hook]

...

经过多次反复测试分析debug文件，整理出了一个xmind的思维导图：

链接: https://pan.baidu.com/s/1owWIaItldwDL2jZq7wb9_w 提取码: 69ks

另附pytest的个人总结xmind图：

链接: https://pan.baidu.com/s/18l6JWvfALTPzUPQl0RE4bQ 提取码: uwnd

结合导图再梳理一下（建议配合网盘里的xmind图看），大体整个测试分成如下6个阶段：

1. pytest_configure

   插件和conftest.py文件配置初始化等，创建session。

2. pytest_sessionstart

   创建session完以后，执行collection之前的阶段。会调用pytest_report_header向terminal打印一些环境信息，比如插件版本，python版本，操作平台这些等。

3. pytest_collection

   测试用例收集以及生成测试输入的过程，这里还可能包括根据keywords和marker筛选测试用例的过程。这个过程会涉及多次generate item的调用，主要关注如下调用：

   • pytest_generate_tests(metafunc): 生成测试项；

   • pytest_make_parametrize_id(config, val, argname)：根据@pytest.mark.parametrize生成对应值；

   • pytest_collection_modifyitems(session, config, items)：所有测试项收集完毕以后调用，一般用来进行重新排序和二次过滤。

   • pytest_deselected(items): 有测试项被关键字或者marker过滤掉的时候会被调用

     注意： 通过::语法筛选测试用例的步骤是在之前生成测试用例阶段完成的，并不是在deselected里面做的

4. pytest_runtestloop

   执行筛选过的测试用例， 在pytest_runtest_protocol里面完成包括setup, call, teardown和log打印的过程。主要关注如下调用：

   • pytest_runtest_logstart(nodeid, location)：开始执行一个新测试项的时候调用.

     注：官方文档的意思表述的有点模糊，并不是setup/call/teardown阶段分别调用一次，就是函数命令一直的意思测试开始前打印一次

   • pytest_runtest_logfinish(nodeid, location): 结束执行一个测试项的时候调用.
     注：同上

   • pytest_runtest_setup(item)： 在pytest_runtest_call执行之前调用.

   • pytest_runtest_call(item): 执行实际的测试过程。

   • pytest_runtest_teardow(item, nextitem): 在pytest_runtest_call执行之后调用

   • pytest_fixture_setup(fixturedef, request)：执行fixture的setup过程（是否执行取决于fixture是否需要创建）.

   • pytest_fixture_post_finalizer(fixturedef, request): 执行fixture的teardown过程（如果有）。

   • pytest_runtest_makereport(item, call): 返回给定item和call对应的 _pytest.runner.TestReport 对象, 这里的call object我们一般不太接触，_pytest/runner.py里面有具体的用法可以参考。

   • pytest_runtest_logreport(report): 在测试的setup/call/teardown阶段report更新之后分别被调用到，可以用when属性来区分不同阶段。

   • pytest_report_teststatus(report, config): 返回各个测试阶段的result, 可以用when属性来区分不同阶段。

5. pytest_sessionfinish

   所有测试执行完毕之后，返回exit status之前的阶段。会调用pytest_terminal_summary向terminal打印一些summary信息，比如pass, fail, error数量之类的总结信息。

6. pytest_unconfigure

   session结束以后，整个process退出之前的阶段。