设置标记为成功，并强制运行所有下游任务

文章/答案/技术大牛

发布

1回答

airflow、airflow-scheduler

我们将任务“user_validation”设置为“故意”失败。同时，任务“send_validation_email_pdf”正在发送带有链接的pdf文档，该链接允许客户端将任务“user_validation”状态设置为“标记为成功”。origin=http%3A%2F%2Flocalhost%3A8080%2Fadmin%2Fairflow%2Ftree%3Fdag_id%3Drf.duree&confirmed=true 我们希望将此任务</em

浏览 17提问于2019-06-07得票数 0

1回答

等待Apache气流中上次运行的所有下游任务。

airflow

从baseoperator.py代码， wait_for_downstream:当设置为true时，任务X的实例将等待任务X的上一个实例的下游的任务在运行之前成功完成。如果任务X的不同实例更改了相同的资产，并且任务X的下游任务使用了该资产，那么这一点非常有用。注意，无论在哪里使用depends_on_past，都会强制使用wait_for_downstream。还要注意的是，只等

浏览 4提问于2020-10-16得票数 2

回答已采纳

1回答

仅运行下游任务，而不运行当前任务- airflow

python、airflow

我有一个Airflow DAG，它作为一个upstream任务和来自该upstream的大约40个downstream任务(就像1到40个映射)。upstream one成功完成，由于某种原因，我不得不停止downstream任务。现在我想把它们都执行完。有没有一种方法可以只执行一个命令(而不是清除每个单独的下游)？

浏览 30提问于2019-12-23得票数 0

2回答

清除时，Airflow强制重新运行上游任务，即使下游任务标记为成功

python、airflow

我在Airflow中有任务A -> B -> C，当我运行DAG并成功完成所有任务时，我希望能够单独清除B(同时将C标记为成功)。B被清除并进入“no_status”状态，但是当我尝试重新运行B时，什么也没有发生。B似乎只有在C也被清除的情况下才会重新运行，然后一切都会按预期重新运行。我希望能够在不更改管道的情况下重新运行B的原因是，B的一些外部输入可能会稍微改变(文件更改或调整)，我想

浏览 0提问于2017-09-25得票数 2

1回答

[Airflow]防止在部分dag重新运行期间意外运行新任务

airflow

在airflow中，如果您将新任务添加到dag，然后在旧dag运行中清除其下游任务，则airflow将首先运行您刚刚添加的新任务。例如：在T+1中，我们在中间添加了一个新任务C:A >> C >> B 现在，如果我们什么都不做，有人在T上清除了任务B，那么它将首先触发C，这不是我们想要的。目前，我们有一个手动脚本，可以在所有历史dag<em

浏览 0提问于2021-05-13得票数 1

1回答

在调试此实例之前，将运行下一个作业实例

airflow

但是在我调试这个问题之前，下一个实例(我将把start_date放在过去)将一直运行到步骤5，在步骤6上失败，完全扰乱了我的工作流程。

浏览 1提问于2017-01-28得票数 0

回答已采纳

1回答

如果以前的任务失败，如何强制Azure DevOps管道失败？

azure-devops、azure-pipelines、azure-pipelines-yaml、azure-pipelines-tasks

我的基于YAML的Azure DevOps管道包含几个任务，其中。我是故意这样做的，这样我就可以运行所有的测试套件，即使其中一些测试套件失败了(每个任务运行不同的测试套件)。目前，如果这些任务中的任何一个失败，构建将被标记为“部分成功”。现在，如何强制将构建标记为“failed”？如果每个任务失败，我可能会手动设置一个build变量，然后在最后一步中检查这个变量的值。但是，如果前

浏览 1提问于2021-07-22得票数 6

回答已采纳

1回答

使用Apache Airflow (MWAA)的托管工作流-如何在上一次运行中禁用任务运行依赖项

amazon-web-services、airflow、mwaa

我有一个Apache气流管理环境，其中定义并启用了许多DAG。一些DAG是按15分钟的计划运行的，而另一些则没有计划。所有的DAG都是单任务DAG。从运行ECS任务的CloudWatch日志中可以看到由ETL脚本生成的完整Python日志，而气流任务日志仅显示高级别日志。调度DAG中的单个任务(级别2)将depends_on_past设置为False，因此第2级DAG的连续计划运行不会相互依赖，也就是说，如果某个特定

浏览 6提问于2021-10-12得票数 0

回答已采纳

1回答

如果s3senors无法找到文件，则跳过airflow Dag中的其余任务

airflow、airflow-2.x

如果s3sensor操作员无法在s3位置找到文件，有没有办法跳过dag中的剩余任务。我知道我们可以使用短路运算符跳过这个任务，但我正在寻找一种方法，可以将短路运算符和s3sensor运算符集成在一起。如果没有，那么有没有其他方法可以做到这一点？提前谢谢你

浏览 23提问于2021-11-12得票数 0

1回答

如何发现前一次的气流DAG任务中是否出现异常？

python、airflow、directed-acyclic-graphs

有没有很好的方法来检测在同一个dag的前一个任务中是否出现异常？我知道我可以设置TriggerRule =ALL_SUCCESS，这样它只会在successfully执行之前的所有任务时启动。但在我的例子中，我需要触发器规则为ALL_DONE，它将在包括Failed once在内的所有有效状态上启动。

浏览 0提问于2018-04-16得票数 0

1回答

强制执行ShortCircuitOperator跳过的任务

airflow、airflow-scheduler

我有一个DAG，它使用ShortCircuitOperator跳过(通常)不必要的下游任务。在一些特殊情况下，我仍然希望运行这些下游任务，并且不希望修改我的DAG来处理每一个可能的情况。是否有一种简单的方式，在气流UI或通过控制台强制运行下游任务后，他们已经被跳过？

浏览 3提问于2019-10-25得票数 0

回答已采纳

2回答

Jenkins下游参数化作业的汇总结果

jenkins

这启动了许多测试构建在多个执行程序上，这些执行程序都正确运行。试验1-#3 但是，当我单击“聚合测试结果”时，它只显示其中的最新结果(测试#3)。如果任务总是运行</em

浏览 13提问于2012-05-10得票数 12

回答已采纳

3回答

如何防止气流回填达格运行？

python、scheduled-tasks、airflow

假设您有一个气流DAG没有意义的回填，这意味着，在运行一次之后，运行它的后续时间将是完全没有意义的。当您实例化一个新的每小时任务，并且在它开始按照指定的时间间隔运行之前，它会为它错过的每一个小时运行大量的N时间，这尤其令人讨厌。我能想到的唯一解决方案就是他们在中特别反对的东西。

浏览 1提问于2016-08-03得票数 77

回答已采纳

2回答

Concourse - fly CLI -限制特定作业名称

concourse

在Concourse中是否可以将任务限制为流水线内的任务？假设我有一个有三个任务的管道，但我只想测试任务#2，而不是1和3。我试图通过指向一个管道/任务名来做一个触发器任务，但它还是起作用了(例如，fly -t lab tj -j bbr-backup-bosh/export-om-installation)。

浏览 2提问于2018-06-26得票数 0

1回答

具有多个并行性的Flink广播状态

apache-flink、flink-streaming、flink-sql

让我把它说出来，我是一个非常初学者的Flink，并试图抓住尽可能多的概念。编辑Partition1使用

浏览 2提问于2019-10-21得票数 0

2回答

气流DAG的任务超时

airflow、airflow-scheduler

我在我的airflow DAG中运行了5个PythonOperator任务，其中一个正在执行一个耗时很长的任务，由于这个任务，我所有的资源都被阻塞了。有没有一种方法可以设置每个任务的最大执行时间，在该时间之后，任务要么失败，要么被标记为成功(这样DAG就不会失败)并显示一条消息？

浏览 9提问于2019-06-18得票数 3

回答已采纳

2回答

任务失败后，气流停止调度数据。

python、scheduled-tasks、scheduler、airflow

我想要达到的行为是：任务默认值：'start_date': airflow.utils.dates.days_ago(2), 'email(即dagrun失败)，那么下一个dagrun就会被调度，但是只是永远处于运行状态，不再成功(甚至被调度)。

浏览 0提问于2018-08-30得票数 2

回答已采纳

1回答

BranchPythonOperator未使用过去跳过的状态任务运行

python、airflow

有一个分支任务，它检查一个条件，然后：运行任务A，然后运行任务B 当跳过任务A时，在dag的下一次(将来)运行中，分支任务永远不会运行(执行在主任务处停止)，尽管默认触发规则是'none_failed‘并且仅跳过dag中没有失败的任务。有人能告诉我为什么在过去的运行中跳过任务</

浏览 0提问于2021-07-16得票数 1

1回答

使用Amazon限制下游服务的TPS

java、spring、amazon-swf

我正在使用Amazon编写一个工作流，并想知道如何控制下游服务上的TPS。我的子工作流调用几个下游服务(每个在不同的活动中)，例如。呼叫下游服务1，如果成功进行，如果失败退出如何限制下游服务的TPS？例如，理想情况下，我希望能够说我希望下游服务1

浏览 2提问于2015-05-29得票数 1

5回答

Jenkins并行触发器和等待

jenkins、hudson、jenkins-plugins、hudson-plugins

我有4个任务需要按以下顺序执行 |------> JOB B |------> JOB D 有没有我没有尝试过的插件可以帮助我解决这个问题。或者这可以用另一种方式实现。

浏览 9提问于2012-10-16得票数 6

点击加载更多