专栏首页从零开始学自动化测试pytest文档58-随机执行测试用例(pytest-random-order)

pytest文档58-随机执行测试用例(pytest-random-order)

前言

通常我们认为每个测试用例都是相互独立的,因此需要保证测试结果不依赖于测试顺序,以不同的顺序运行测试用例,可以得到相同的结果。 pytest默认运行用例的顺序是按模块和用例命名的 ASCII 编码顺序执行的,这就意味着每次运行用例的顺序都是一样的。 app 测试里面有个 monkey 测试,随机在页面点点点,不按常理的点点点能找到更多的不稳定性 bug。那么我们在写pytest用例的时候,既然每个用例都是相互独立的, 那就可以打乱用例的顺序随机执行,用到 pytest 的插件 pytest-random-order 可以实现此目的,github 地址https://github.com/jbasko/pytest-random-order

pytest-random-order 插件

pytest-random-order是一个pytest插件,用于随机化测试顺序。这对于检测通过的测试可能是有用的,因为该测试恰好在不相关的测试之后运行,从而使系统处于良好状态。 该插件允许用户控制他们想要引入的随机性级别,并禁止对测试子集进行重新排序。通过传递先前测试运行中报告的种子值,可以按特定顺序重新运行测试。

使用pip安装

pip install pytest-random-order

在pytest -h查看,命令行可以有三个参数选择

pytest-random-order options:
--random-order        Randomise test order (by default, it is disabled) with default configuration.
--random-order-bucket={global,package,module,class,parent,grandparent,none}
Randomise test order within specified test buckets.
--random-order-seed=RANDOM_ORDER_SEED
Randomise test order using a specific seed.

从v1.0.0开始,默认情况下,此插件不再将测试随机化。要启用随机化,您必须以下列方式之一运行pytest:

pytest --random-order
pytest --random-order-bucket=<bucket_type>
pytest --random-order-seed=<seed>

如果要始终随机化测试顺序,请配置pytest。有很多方法可以做到这一点,我最喜欢的一种方法是addopts = —random-order在pytest选项(通常是[pytest]或[tool:pytest]部分)下添加特定于项目的配置文件。

# pytest.ini文件内容
[pytest]
addopts = --random-order

—random-order 随机测试

先写几个简单的用例,目录结构如下

module1/test_order1.py内容

# module1/test_order1.py
# blog地址 https://www.cnblogs.com/yoyoketang/class TestRandom():def test_01(self):
print("用例1")def test_02(self):
print("用例2")def test_03(self):
print("用例3")

module2/test_order2.py内容

# module2/test_order2.py
# blog地址 https://www.cnblogs.com/yoyoketang/class TestDemo():def test_04(self):
print("用例4")def test_05(self):
print("用例5")def test_06(self):
print("用例6")

带上--random-order参数运行用例

>pytest --random-order -v
================================================= test session starts =================================================
Using --random-order-bucket=module
Using --random-order-seed=357703
collected 6 itemsmodule2/test_order2.py::TestDemo::test_04 PASSED                                                                 [ 16%]
module2/test_order2.py::TestDemo::test_05 PASSED                                                                 [ 33%]
module2/test_order2.py::TestDemo::test_06 PASSED                                                                 [ 50%]
module1/test_order1.py::TestRandom::test_03 PASSED                                                               [ 66%]
module1/test_order1.py::TestRandom::test_02 PASSED                                                               [ 83%]
module1/test_order1.py::TestRandom::test_01 PASSED                                                               [100%]================================================== 6 passed in 0.05s ==================================================

从运行的结果可以看出,默认使用--random-order-bucket=module,模块下的用例会被打乱随机执行,每次运行会重新生成--random-order-seed=357703,seed值不一样,用例的顺序也会不一样

—random-order-bucket 随机范围

要更改重新排序与范围,运行pytest —random-order-bucket=选项,其中可以是global,package,module,class,parent,grandparent:

插件组在存储桶中进行测试,在存储桶中进行混洗,然后对存储桶进行混洗,设计原理如图

给定上面的测试套件,以下是一些可能生成的测试顺序中的两个:

可以从以下几种类型的存储桶中进行选择:

  • class 测试将在一个类中进行混洗,而各类将被混洗,但是来自一个类的测试将永远不会在其他类或模块之间运行来自其他类的测试。
  • module 模块级别。如果仅使用—random-order运行pytest,同时带上参数—random-order-seed=。
  • package 程序包级别。请注意,属于package的模块(以及这些模块内的测试)x.y.z不属于package x.y,因此在对存储package桶类型进行随机分配时,它们将落入不同的存储桶中。
  • parent 如果使用的是不属于任何模块的自定义测试项,则可以使用此项将测试项的重新排序限制在它们所属的父级中。对于正常测试函数,父级是声明它们的模块。
  • grandparent 类似于上面的parent,但是使用测试项的父级作为bucket key。
  • global 所有测试属于同一存储桶,完全随机,测试可能需要更长的时间才能运行。
  • none (已弃用) 禁用混洗。自1.0.4起不推荐使用,因为此插件默认不再重做测试,因此没有禁用的功能。

如果你有测试三个桶A,B和C三个测试1和2,并3在他们每个人,那么许多潜在的排序的一个非全局随机化可以产生可能是:

c2,c1,c3,a3,a1,a2,b3,b2,b1

运行示例,带上参数--random-order-bucket=global,所有的用例都会被打乱。

>pytest --random-order -v --random-order-bucket=global
================================================= test session starts =================================================
Using --random-order-bucket=global
Using --random-order-seed=255529collected 6 itemsmodule1/test_order1.py::TestRandom::test_02 PASSED                                                               [ 16%]
module1/test_order1.py::TestRandom::test_01 PASSED                                                               [ 33%]
module2/test_order2.py::TestDemo::test_06 PASSED                                                                 [ 50%]
module2/test_order2.py::TestDemo::test_04 PASSED                                                                 [ 66%]
module2/test_order2.py::TestDemo::test_05 PASSED                                                                 [ 83%]
module1/test_order1.py::TestRandom::test_03 PASSED                                                               [100%]================================================== 6 passed in 0.05s ==================================================

最好从最小的存储桶类型开始(class或module取决于您是否有基于类的测试),并在确定测试可以处理较大的存储桶类型时切换为更大的存储桶类型。 如果您的测试依赖模块或会话范围的fixture,则测试的随机性越高,测试速度就越慢。您可能不想在编码时随机global或随机分组,package并且需要快速确认没有什么大问题。``

模块或类中禁用随机

如果我们在一个模块或类中,不想让里面的用例随机,可以设置 disabled=True 来禁用随机参数

# 写在.py文件最上面即可
pytestmark = pytest.mark.random_order(disabled=True)def test_number_one():
assert Truedef test_number_two():
assert True

也可以写在class里面

import pytest
# blog地址 https://www.cnblogs.com/yoyoketang/class TestRandom():
pytestmark = pytest.mark.random_order(disabled=True)def test_01(self):
print("用例1")def test_02(self):
print("用例2")def test_03(self):
print("用例3")

这样在执行的时候,TestRandom里面的用例顺序就是test_01,test_02,test_03不会被打乱

—random-order-seed 随机种子

如果由于重新排序测试而发现测试失败,则可能希望能够以相同的失败顺序重新运行测试。为了允许重现测试订单,该插件报告其与伪随机数生成器一起使用的种子值:

============================= test session starts ==============================
..
Using --random-order-bucket=module
Using --random-order-seed=24775
...

现在,您可以使用该—random-order-seed=…位作为下一次运行的参数以产生相同的顺序:

pytest -v —random-order-seed = 24775

禁用插件

如果你觉得这个插件不好用,或者对你的其它功能会有影响,则可以将其禁用

pytest -p no:random_order

请注意,默认情况下禁用随机化。通过传递,-p no:random_order您将阻止插件的注册,因此其钩子将不会被注册,并且命令行选项也不会出现在中—help

首先运行最后失败的测试

另外 --failed-first 标志-上一次运行失败的测试将在通过测试之前运行,而不管改组存储桶类型如何。

本文分享自微信公众号 - 从零开始学自动化测试(yoyoketang),作者:上海悠悠

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • pytest文档12-skip跳过用例

    pytest.mark.skip可以标记无法在某些平台上运行的测试功能,或者您希望失败的测试功能

    上海-悠悠
  • pytest文档3-pycharm运行pytest

    上一篇pytest文档2-用例运行规则已经介绍了如何在cmd执行pytest用例,平常我们写代码在pycharm比较多 写完用例之后,需要调试看看,是不是能正常...

    上海-悠悠
  • pytest文档51-内置fixture之cache使用

    pytest 运行完用例之后会生成一个 .pytest_cache 的缓存文件夹,用于记录用例的ids和上一次失败的用例。 方便我们在运行用例的时候加上—lf ...

    上海-悠悠
  • 智能手机接下来争这三个字,马云这次又预测准了

    距离6月18日还有半个多月,但电商平台年中大促的硝烟已被点燃。就像双11一样,不同手机品牌纷纷晒起了促销战绩,从不同维度来诠释自己的市场地位,各家都说自己是第一...

    罗超频道
  • pytest文档22-pytest分布式执行(pytest-xdist)

    平常我们手工测试用例非常多时,比如有1千条用例,假设每个用例执行需要1分钟。如果一个测试人员执行需要1000分钟才能执行完,当项目非常紧急的时候, 我们会用测试...

    上海-悠悠
  • Kubernetes-Host网络模式应用

    问天丶天问
  • Cypress系列(3)- Cypress 的初次体验

    https://www.cnblogs.com/poloyy/category/1768839.html

    小菠萝测试笔记
  • Pytest配置文件pytest.ini

    pytest.ini文件是pytest的主配置文件,可以改变pytest的运行方式,它是一个固定的文件pytest.ini文件,读取配置信息,按指定的方式去运行...

    橙子探索测试
  • 实战使用Axure设计App,使用WebStorm开发(4) – 实现页面UI

    系列文章 实战使用Axure设计App,使用WebStorm开发(1) – 用Axure描述需求 实战使用Axure设计App,使用WebStorm开发(2)...

    葡萄城控件
  • 当代码变更遇上精准测试的总结

    敏捷模式下迭代频繁,回归测试时总是不知道变动的范围。Devlop 有的时候也不知道他改了哪些东西,影响到哪些节点,或者是很多人改的,彼此不知道。

    elyyan

扫码关注云+社区

领取腾讯云代金券