如何将测试标记为xfail (预期失败)？
在软件测试中，将测试标记为xfail（预期失败）是为了表明该测试用例预计会失败，但这并不表示存在代码缺陷或错误。通常情况下，我们会将测试标记为xfail来处理一些已知的问题或限制，以便在测试报告中明确指出这些测试的预期结果。
在不同的测试框架和工具中，标记测试为xfail的方法可能会有所不同。以下是一些常见的方法：
- 使用pytest框架：在pytest中，可以使用装饰器
@pytest.mark.xfail来标记测试用例为xfail。例如：
import pytest
@pytest.mark.xfail
def test_example():
# 测试代码
assert False- 使用unittest框架：在unittest中，可以使用装饰器
@unittest.expectedFailure来标记测试用例为xfail。例如：
import unittest
class MyTestCase(unittest.TestCase):
@unittest.expectedFailure
def test_example(self):
# 测试代码
self.assertEqual(1, 2)- 使用Jenkins等持续集成工具：一些持续集成工具提供了专门的标记或配置选项来将测试标记为xfail。可以在测试任务的配置中设置相关选项，以便将测试结果标记为预期失败。
无论使用哪种方法，将测试标记为xfail后，测试框架或工具会将这些测试结果与其他失败的测试结果区分开来，并在测试报告中明确显示为预期失败。这有助于开发人员和测试人员更好地理解测试结果，并及时处理已知的问题或限制。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云测试服务：https://cloud.tencent.com/product/ttc
- 腾讯云云原生应用引擎：https://cloud.tencent.com/product/tke
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云音视频处理：https://cloud.tencent.com/product/mps
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发：https://cloud.tencent.com/product/mobdev
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/tencent-meta-universe
相关·内容
我有一些python代码和一堆pytest测试。
一些我预计会失败的测试(即，我正在测试错误处理，所以我传入了应该导致代码抛出异常的输入)。
为了做到这一点，我有如下代码：
CF_TESTDATA =[('data/1_input.csv', 'data/1_input.csv', 'utf-8'),
pytest.mark.xfail(('data/1_input_unknown_encoding.txt', '', 'utf-8')),
(
浏览 1提问于2016-07-26得票数 2
1回答
我有许多项目，在这些项目中，我使用pytest.mark.xfail标记标记失败但不应该失败的测试，以便在解决问题之前添加失败的测试用例。我不想跳过这些测试，因为如果我做了什么导致它们开始通过，我想知道这一点，以便我可以删除xfail标记，以避免回归。
问题是，由于xfail测试实际上一直运行到失败，导致失败的任何行都被视为“覆盖”，即使它们是没有通过的测试的一部分，这给了我误导性的度量，我的代码到底有多少被测试为工作。最起码的例子是：
pkg.py
def f(fail):
if fail:
print("This line should not be cov
浏览 0提问于2018-11-07得票数 2
回答已采纳
2回答
我有一个Testcafe测试，它寻找一个链接并点击它。根据我运行它的环境，它可能是一个有效的链接，也可能是无效的链接，这是可以的。重要的是链接被找到并被点击，而不是它转到一个有效的页面。例如，它可能转到一个不存在的域。 如何忽略因click()调用而产生的错误？我尝试在try/catch中抑制它，但它不起作用。 另一种选择是，如何将测试用例标记为XFAIL，以便将其视为预期的失败？
浏览 24提问于2020-08-18得票数 0
我是pytest的新手，我想知道当使用某些参数调用时，如何将测试标记为“预期失败”。我将测试参数化如下：
@pytest.mark.parametrize("param1", [False, True])
@pytest.mark.parametrize("param2", [1, 2, 3])
def test_foo(self, param1, param2):
...
我试图实现的是，当使用(param1 == True and param2 == 2)调用测试时，测试应该失败；而任何其他参数组合都应该通过。
但我还没有找到任何方法来做到这一点。你
浏览 0提问于2015-06-01得票数 14
我正在使用pytest bdd实现api的自动化，我需要为我的一个步骤定义实现@pytest.mark.xfail。但是在添加了这个装饰器之后，它就不像预期的那样工作了。
示例>
example.feature
Scenario: Validate the API response where availableLicense should not be greater than the totalLicense.
Given Send valid input
Then validate the availableLicense count should not be greater t
浏览 5提问于2021-10-11得票数 0
我有一个通过pytest-html生成HTML输出的测试。
我得到了报告，但我想添加对失败和预期图像的引用；我将它们保存在我的主test.py文件中，并将钩子添加到conftest.py。
现在，我不知道如何将这些图像传递给函数；钩子是在测试执行后调用的；目前我正在对输出文件进行硬编码，它们是附加的；但我希望从测试中传递图像的路径，特别是因为我需要编写更多的测试，这些测试可能保存在我通常的文件夹中的其他地方，并且可能具有不同的名称。
这是我在conftest.py中的钩子
@pytest.mark.hookwrapper
def pytest_runtest_makereport(item,
浏览 33提问于2020-05-26得票数 0
回答已采纳
我有pytest hoook，可以在测试失败时截图。对于失败的测试，状态下selenium需要截图。但是，当测试在pytest工具中失败时，测试状态是error，selenium不接受屏幕截图。当测试在固定设备上失败时如何拍摄截图？
这是一个pytest钩子，在测试失败时截图。
def pytest_runtest_makereport(item, call):
pytest_html = item.config.pluginmanager.getplugin('html')
outcome = yield
report = outcome.get_re
浏览 13提问于2022-08-30得票数 0
回答已采纳
在无法合并失败测试的代码的环境中，显然不能合并新的、失败的测试。
但是，如何处理新发现的bug漏洞，这意味着您编写了一个新的测试，公开了一个已经存在的bug。测试驱动开发会说:万岁，您有测试，现在修复错误，然后提交两者。
但是，如果你( a)是一个测试工程师，谁发现了漏洞，但无法修复它，或( b)你将能够修复它，但不是现在？
选项一:将测试提交到一个额外的分支，在bug问题中提到它，并且本质上保留代码直到有人有怜悯之心，并将他们的修复建立在这个分支之上，并同时提交这两个分支。
选项二:在某种程度上将测试标记为“不太好，因为它失败了，但它是预期的”，合并它，而持续集成让它陷入低谷。一旦错误被修复
浏览 0提问于2018-08-22得票数 3
回答已采纳
虽然我已经使用Python很多年了，但我意识到主要是在个人项目上工作，我以前从来不需要进行单元测试，所以对于我可能做出的明显的问题或错误的假设，我表示歉意。我的目标是了解如何进行测试，并可能将所有内容与GitHub工作流结合起来，以创建一些自动化。我已经看到在本地引发的失败/错误(在概念上是不同的)，一旦联机，就不会被区别对待。但在我离开之前，我有一些疑问，我想澄清。
从网上阅读，我最初的理解似乎是，一个测试应该总是成功的，即使它包含错误或失败。但是如果它成功了，我怎么能记录一个失败或一个错误呢？所以我很想说我用错误的方式捕捉了这件事？我理解在敏捷环境中，有些人想说这是一个受控的过程，在查看代
浏览 2提问于2021-10-22得票数 0
上下文
我们希望以接近实时的方式发出测试结果度量。因此，我们从pytest_runtest_makereport钩子中发布度量。在pytest_runtest_makereport钩子中，x失败的或x传递的的测试似乎被标记为跳过。
问题
是否有任何方法可以确定测试结果是x失败的还是x从pytest_runtest_makereport钩子传递的？
我们可以将x失败的和x传递的测试与通过terminalreporter对象从pytest_terminal_summary钩子中跳过的测试区分开来，这提供了一种根据测试结果获取测试节点列表的方法。例如：
terminalreporter.stats.
浏览 3提问于2021-03-12得票数 1
使用py.test时，我经常会生成一些测试用例预计会失败的测试。我如何才能将它们标记为xfail？如果我将@py.test.mark.xfail放在测试函数上，这意味着它的所有实例都是xfail。如果我在测试中执行py.test.xfail()，它实际上不会通过测试，而不仅仅是将其标记为xfail。我能用metafunc做些什么来添加这个标记吗？
例如：
# code - function with a bug :)
def evenHigherThanSquare(n):
return n**2
# test file
def pytest_generate_tests(me
浏览 0提问于2012-09-11得票数 4
回答已采纳
我尝试使用pytest-playwright运行我的第一个剧作家测试，测试运行良好，但是当我尝试使用pytest html reporter向我展示报告时，用一个失败的测试截图显示，它不起作用。
pytest版本== 7.0.1 pytest-剧作家版本== 0.2.3
预期会失败的测试：
def test_pw():
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.got
浏览 9提问于2022-03-10得票数 1
回答已采纳
我有一个最远的测试，它在两个不同的数据库上测试几个输入。我用参数化标记做了两次：
@pytest.mark.parametrize(
"input_type",
[
pytest.param("input_1"),
pytest.param("input_2"),
],
)
@pytest.mark.parametrize(
"db_type",
[
pytest.param("db_type_1"),
pyte
浏览 0提问于2020-10-14得票数 4
2回答
我想通过Pytest测试Python函数。通过参数化装饰器，我传递了两个预期的传递，一个期望失败(通过方法中的ValueError )。
@pytest.mark.parametrize("input_nr, expected", [
(123.456, (123, 456)),
(456.789, (456, 789)),
pytest.param("123.123", (123, 123), marks=pytest.mark.xfail(raises=ValueError, strict=True))]
浏览 3提问于2022-07-20得票数 0
我有一个使用requests的测试，需要一个活动连接。
如果连接中断，我想要xfail，但正常情况下通过。
以下是我尝试过的：
from requests import ConnectionError
@pytest.mark.xfail(raises=ConnectionError)
class TestStuff():
def test_stuff():
do stuff
如果连接中断，这将确实是xfail，但在一般情况下，它将是xpass。
有办法实现我想要的吗？
我可以试一试/除了：
from requests import ConnectionError
浏览 2提问于2016-10-06得票数 2
回答已采纳
我正在使用pytest进行自动化测试，我正在尝试将parametrize与xfail一起使用。选项%1 works -the元组在列表内写入不正确选项%2失败:出现错误:必须等于值的数量(1)：(正在尝试构建列表压缩) 选项2示例:失败(这是我需要在我的代码中使用的)请注意，在元组的data_driven列表中，一切正常，并且有正确的元组 def build_dd():
with open('xxx/dd_ee.json') as dd_file:
dd_json = json.load(dd_file)
data_driven = [tupl
浏览 21提问于2020-12-31得票数 0
我有一个标记为xfail的py.test测试函数：
@pytest.mark.xfail
def test_that_fails():
assert 1 == 2
在我的pytest_runtest_setup()钩子中，我显式地跳过了这个测试：
def pytest_runtest_setup (item):
pytest.skip ('Skipping this test')
当我运行py.test时，它报告测试x失败：
tests.py x
========================== 1 xfailed in 1.69 seconds ====
浏览 1提问于2012-06-20得票数 2
我想缩小最大的xfail标记的范围。因为我目前使用它，它标记了整个测试函数，并且函数中的任何失败都是很酷的。
我想将其缩小到一个较小的范围，也许可以使用一个类似于"with pytest.raises (module.Error)“的上下文管理器。例如：
@pytest.mark.xfail
def test_12345():
first_step()
second_step()
third_step()
如果我在所调用的三个方法中的任何一个中进行断言，则此测试将失败。相反，我希望仅当测试在second_step()中断言时才执行xfail，而不是在其他地方。如
浏览 0提问于2012-07-25得票数 2
回答已采纳
我在单元测试中使用py.test有一个小问题。
我使用py.test来运行我的测试，并输出测试的junitxml报告。这个xml报告是在jenkins中导入的，并生成很好的统计数据。
当我使用从unittest.TestCase派生的测试类时，我使用以下方法跳过预期的失败：
@unittest.skip("Bug 1234 :这不起作用“)
在选择此测试时，此消息也会在jenkins中显示。
当我不使用unittest.TestCase类(例如使用py.test参数化功能)时，我将使用以下方法跳过预期的失败：
@pytest.mark.xfail(reason="Bu
浏览 1提问于2013-09-18得票数 1
在robot框架中，有没有办法将测试标记为XFAIL？我想要执行这些测试，如果它们有一个相关联的缺陷标签，我想把它们标记为XFAIL。
是否可以使用ResultWriter或任何其他模块来实现这一点。
浏览 0提问于2017-05-26得票数 3
如何关闭涉及参数化的条件？
问题是@pytest.mark.xfail(condition=(code == 123), reason="123 is an exception case")无法工作，因为代码是参数化的变量。我尝试了一些不同的方法，包括静态类成员、全局变量以及在expected_setup fixture中设置它。这些都不起作用(正如预期的那样)
@pytest.mark.xfail(condition=(code == 123), reason="123 is an exception case")
E NameError: name &#
浏览 2提问于2019-09-11得票数 2
我有一段代码，它生成一个报告，并在测试失败时向它添加一个屏幕快照：
def pytest_runtest_makereport(item):
pytest_html = item.config.pluginmanager.getplugin('html')
outcome = yield
report = outcome.get_result()
extra = getattr(report, 'extra', [])
if report.when == 'call' or report.when == "setup":
浏览 6提问于2022-05-12得票数 0
我一直认为，在py.test中，命令式和声明性使用xfail/skip应该以相同的方式工作。同时，我注意到，如果我编写了一个包含命令式跳过的测试，那么即使测试通过了，测试的结果也总是"xfail“。
下面是一些代码：
import pytest
def test_should_fail():
pytest.xfail("reason")
@pytest.mark.xfail(reason="reason")
def test_should_fail_2():
assert 1
运行这些测试总是会导致：
================
浏览 3提问于2013-05-29得票数 0
回答已采纳
当参数化测试引发预期异常时，我一直使用以下形式：
import pytest
class SomeException(Exception):
pass
class AnotherException(Exception):
pass
@pytest.mark.parametrize(
'error',
[None,
pytest.mark.raises(SomeException('the message'),
exception=SomeException),
浏览 3提问于2018-10-14得票数 2
回答已采纳
1回答
使用pytest，我将特定的参数设置为。
不过，我的测试套件使用了假设。这是一个我们知道的错误，我们不打算在这个版本的API中修复它。它已经被记录在案，修复它所需要的时间在这个时候是不值得的。
有用的是，每次测试套件运行时，假设都会指出这个失败，而我们已经学会了忽略它。显然，这是不好的(特别是因为它导致我们忽略了其他我们不应该做的事情)。
有没有办法告诉pytest期待单个参数值的假设失败？我不想完全删除它，因为地平线上有一个更大的项目即将修复它。当这种情况发生时，我希望假设再次检查此条件。
我想要应用此do的测试用例定义如下：
@given(inp=st.text(min_size=1))
浏览 8提问于2019-07-09得票数 1
回答已采纳
2回答
我有一个Jenkins作业，它运行Spoon来执行插装测试。其中一个测试失败了，但这并不会导致Jenkins像我预期的那样将构建标记为失败。
我如何将测试失败传播给Jenkins？
以下是启动Spoon的构建步骤：
java -jar $SPOON_RUNNER_JAR_PATH \
--sdk $ANDROID_SDK_DIR \
--apk testPackages/$testedApkName \
--test-apk testPackages/$testApkName
浏览 0提问于2014-11-11得票数 1
我正在为webapp编写测试，有时需要一段时间才能在生产服务器上看到更改。我不希望这些测试失败，但我也不想忽视它们。因此，在针对生产服务器运行时，我希望将这些测试标记为xfail，但是我无法访问标记中的options对象，而这个选项对象可以在测试用例中访问。一旦这些测试通过XPASS，标记就会被删除。而且那些测试不应该是
有可能这样做吗？
@pytest.mark.xfail(
options.getini("base_url") == options.getini("production_server"),
reason="Chang
浏览 2提问于2020-02-14得票数 1
回答已采纳
1回答
用例:在pytest测试套件中，我有一个@fixture，如果缺少用于其配置的命令行选项，就会引发异常。我已经用xfail为这个夹具编写了一个测试
import pytest
from <module> import <exception>
@pytest.mark.xfail(raises=<exception>)
def test_fixture_with_missing_options_raises_exception(rc_visard):
pass
但是，运行测试后的输出并没有将测试声明为已通过，而是表示“x失败”：
==========
浏览 0提问于2018-05-14得票数 4
回答已采纳
1回答
一些测试框架，特别是DejaGnu和py.test，为测试设置了一个"XFAIL“标记/状态，该标记/状态表明该测试可能会失败。如果测试成功，则标记为"XPASS“(意外通过)。
这不是个多余的过度并发症吗？仅仅使用一个断言可能会出现错误似乎更容易理解--如果错误发生，测试就会通过，如果没有，它就会失败。
gcc特别是，这种状态有如此多的问题，使得测试输出几乎毫无用处。我准备把这个特性写成历史上另一个被误导的怪癖--直到我在py.test中看到它。
这个特性的目的是什么？它能做什么跳过和断言不能呢？
浏览 0提问于2018-12-05得票数 9
回答已采纳
9回答
我正在使用Jenkins、Python驱动程序(Selenium2)和Py.test框架为web测试创建测试用例。
到目前为止，我正在按照以下结构组织我的测试：
每个test_类都是测试用例，每个方法都是测试步骤。
当一切正常时，这个设置很好，但是当一个步骤崩溃时，其余的“测试步骤”就会疯狂。在teardown_class()的帮助下，我能够控制类中的失败(测试用例)，但是我正在研究如何改进这个问题。
如果其中一个类失败了，我需要的是在一个类中跳过(或xfail)其余的test_方法，这样其余的测试用例就不会运行并标记为failed (因为这将是假阳性)。
谢谢!
更新：，我没有看，也没有回答
浏览 1提问于2012-09-13得票数 36
回答已采纳
1回答
我的项目中有2000多个单元测试/pytest。他们中的许多人都会问API，但是API可能会滞后。是否有一种方法可以在每个测试中期望APILagError并在发生此错误时为任何测试抛出SKIP/XFAIL？
当前：
test_1: oktest_2: failtest_3: ok
结果:1次失败，2次ok =>测试失败。
通缉：
skip/xfailtest_3：test_1: oktest_2: ok ok
结果:2个ok，1个跳过/x失败的=>测试通过
浏览 0提问于2020-02-26得票数 0
1回答
我在Spyder IDE (Python 3.8)中运行以下代码： import mpmath
mpmath.runtests() 我认为大多数测试都通过了，但我得到的结果是“测试失败”。输出的附加部分： test_pickle
pickle ok 0.0648950 s
test_power
fractional_pow ok 0.0007822 s
pow_epsilon_rounding ok 0.0103981 s
pow_integer_d
浏览 13提问于2021-03-15得票数 1
回答已采纳
我使用将越来越长的输入到一个相当慢的测试函数中，如下所示：
@pytest.mark.parametrize('data', [
b'ab',
b'xyz'*1000,
b'12345'*1024**2,
... # etc
])
def test_compression(data):
... # compress the data
... # decompress the data
assert decompressed_data == data
因为压缩大量数据需要很长时
浏览 2提问于2018-09-12得票数 7
回答已采纳
如果有人知道如何处理以下问题：
@pytest.mark.parametrize("paramA, paramB", params_variable)
@pytest.mark.parametrize("bool", (True, False))
@pytest.mark.parametrize("size", sizes_variable)
def test_definition(paramA, paramB, boolA, boolB, size):
assert something
让我们想象一下，测试结果可以如下所示：
test_
浏览 2提问于2020-08-03得票数 1
我正在使用pytest和，试图检查一个对象在其字段之一中是否有正确的内容。我面临的问题是，对象出现在一个列表中，在列表中它可能处于任何位置，并且与来自不同类的对象混合在一起，而在这些类中，该字段甚至不存在。
下面是一个测试我需要的东西的例子。这个示例可以正常工作，但我认为这不是一个很好的解决方案，因为它正在测试一个测试中的两个条件(在list中测试实例，如果它找到了实例就会更正内容)，而且还因为必须中断测试函数看起来不太干净。
有没有人建议用一种更优雅、更正确的方法来测试？
import pytest
class Foo:
def __init__(self,name):
浏览 0提问于2020-02-22得票数 0
我有一个固定的测试功能，这是失败的(因为它应该)与某些夹具输入。我该怎么表示呢？这就是我现在要做的，也许还有更好的方法。我是py.test的新手，所以我很感激你的任何建议。
下一部分是所有的输入装置。example_datapackage_path在conf.test中定义
@pytest.fixture(params=[None, 'pooled_col', 'phenotype_col'])
def metadata_key(self, request):
return request.param
@pytest.fixture(params=[N
浏览 5提问于2014-09-30得票数 8
回答已采纳
我已经附加了一个钩子，当它遇到一个失败的截图，它会附加到报告截图。但是，如果失败，屏幕截图就不会生成，点击屏幕截图时，会出现错误，因为“您的文件无法访问，它可能已被移动、编辑或删除。”
附加钩子，这是能够成功捕获截图。但是，现在它并没有产生。
@pytest.mark.hookwrapper
def pytest_runtest_makereport(item):
"""
Extends the PyTest Plugin to take and embed screenshot in html report, whenever test fai
浏览 2提问于2022-08-25得票数 0
作为背景，我们有在同一产品的20+部署中运行的测试用例，在其中一些部署中，测试用例由于已知的错误而失败，而在另一些情况下，测试用例通过。
有谁能帮上忙，为一个特定的环境提供最好的测试用例的建议吗？
我们已经可以通过env夹具甚至函数调用访问特定测试运行所针对的环境。我们只需要一种干净而合乎逻辑的方法来进行xfail。我们想做这样的事情：
我们想要什么(或类似的东西，用装饰师)
@pytest.mark.xfail(envs=["my_env_1", "my_env_18"], reason="Bug/JIRA-TICKET")
def test_
浏览 2提问于2020-04-16得票数 3
回答已采纳
在我的场景中，我有一个写文件的测试，一个(但可能还有更多的)测试想要读取这个文件。我不能简单地提取将该文件写入函数/夹具，因为它涉及其他一些内部正在启动其他二进制文件的固定装置，以及写入该文件的二进制文件。所以我有一个固定装置，用来检查文件是否已经在那里。
到目前为止我尝试过的是：
和插件--不合适，因为它们都会在失败时立即重新运行测试(当文件仍然不存在时)，我想在测试队列的末尾添加它。
手动修改测试队列，如下所示：
..。
request.session.items.append(request.node)
pytest.xfail("file not present
浏览 2提问于2018-10-12得票数 7
1回答
我使用进行一些自动化测试，并在失败时使用一个固定设备进行屏幕截图，这里是该夹具的代码：
timestamp = datetime.now().strftime('%H-%M-%S')
pytest_html = item.config.pluginmanager.getplugin('html')
outcome = yield
report = outcome.get_result()
extra = getattr(report, 'extra', [])
if report.when ==
浏览 9提问于2022-01-27得票数 0
回答已采纳
我正在使用pytest-html来生成html报告。但在我的报告中，显示了每个测试用例运行的完整路径。我只希望显示类名和测试用例名称。
在conftest.py文件中
@pytest.mark.hookwrapper
def pytest_runtest_makereport(item, call):
pytest_html = item.config.pluginmanager.getplugin('html')
outcome = yield
report = outcome.get_result()
report.description = str(ite
浏览 28提问于2019-03-25得票数 1
1回答
在py.test (4.6.2版)中，您有一个标记装饰器用于测试，将其标记为失败。
@pytest.mark.xfail
def test1():
return 1/0
也可以验证异常本身。
@pytest.mark.xfail(raises=ZeroDivisionError)
但是，是否有可能以某种方式验证错误消息本身？
当您有一个HTTPError时，这是很有用的，因为可能有很多原因。当您比较错误消息本身时，您可以更具体地了解测试何时失败(例如，将某个Client Error与Server Error区分开来)。
到目前为止，我使用的结构如下：
def test_fail_req
浏览 0提问于2019-07-01得票数 0
回答已采纳
1回答
从聚合报告Jmeter中断言结果
、、、、
我是Jmeter的新手，我使用的是JMeter 5.1。我有一个包含多个线程和循环的HTTP请求。在结果之后，我有一个聚合报告，它允许我看到所有响应时间的平均值，90%，99%和其他类似的指标。
我想要做的是用预期的结果来断言这个结果。基本上，当我在cli中运行这个脚本时，它应该会失败(例如)。如果第90个百分位数大于2000ms，它应该以非零值退出。
我尝试使用JSR233/Beanshell断言，我不确定如何将聚合报告变量的值(如第99%)获取到jsr233脚本。
目前，即使脚本中有一些错误(如500或404)，cli也会返回0。
浏览 4提问于2019-03-25得票数 1
根据，我可以生成多个参数化参数的组合，如下所示：
@pytest.mark.parametrize("x", [0, 1])
@pytest.mark.parametrize("y", [2, 3])
def test_foo(x, y):
pass
我还可以将标记应用于这样的单个参数：
@pytest.mark.parametrize("test_input,expected", [
("3+5", 8),
("2+4", 6),
pytest.param("6*9", 42,
浏览 5提问于2017-12-09得票数 6
要在前(N)个故障后停止测试过程，请执行以下操作：
pytest --maxfail=2
我想要的是
@pytest.some_decorator
def test_one(data):
... #do something
assert feature1...
assert feature2...
assert feature3...
这个@pytest.some_decorator应该运行所有的assert语句，即使在第一个语句失败之后。它不能参数化，因为它是数据的一个特征。
这个是可能的吗？对我来说，为这样的测试编写多个测试真的没有意义。
浏览 0提问于2021-04-15得票数 1
这是我的桌子
我正在使用下一个查询
SELECT XFailTbl.id,
xfail,
yfail
FROM (SELECT Count(*) AS XFail,
[id]
FROM [table]
WHERE ( x < xmin
OR x > xmax )
GROUP BY [id]) AS XFailTbl
JOIN (SELECT Count(*) AS YFail,
浏览 6提问于2020-06-02得票数 1
回答已采纳
我有以下测试用例：
@pytest.mark.parametrize("init_resp", [True, False])
@pytest.mark.parametrize("mechanism", ["login", "plain"])
def test_byclient(self, auth_peeker_controller, client, mechanism, init_resp):
self._ehlo(client)
client.user = "go
浏览 0提问于2021-01-31得票数 1
6回答
是否可以使用PHPUnit将测试标记为“预期失败”？在执行TDD时，这将非常有用，并且您希望区分真正失败的测试和由于相关代码尚未编写而碰巧失败的测试。
浏览 0提问于2010-10-13得票数 18
回答已采纳
@mark.incremental的目的是，如果一个测试失败，那么随后的测试将被标记为预期的失败。
然而，当我使用这与参数化相结合时，我会得到不想要的行为。
例如，在这种假代码的情况下：
//conftest.py:
def pytest_generate_tests(metafunc):
metafunc.parametrize("input", [True, False, None, False, True])
def pytest_runtest_makereport(item, call):
if "incremental" in i
浏览 1提问于2016-10-06得票数 2
import pytest
from selenium import webdriver
driver = None
def pytest_addoption(parser):
parser.addoption("--browser_name", action="store", default="chrome")
parser.addoption("--url", action="store", default="staging")
@pytest.fixture(scope
浏览 109提问于2021-06-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
