Airflow -如果传感器出现故障，则跳过DAG

文章/答案/技术大牛

发布

1回答

airflow

我发现启动airflow进程的唯一方法是在start @daily运行一个传感器，并使用执行日期查找有一个文件。问题是，由于我不知道文件将在哪天上载，因此将有6个失败的传感器，因此6个失败的day和1个成功。SFTP传感器部件示例： "geometrie-sftp-to-safe", schedule_interval设置为跳过，如果</e

浏览 17提问于2020-05-25得票数 0

2回答

BranchPythonOperator后的Airflow任务未失败且正确成功

python、airflow

我遇到的问题是当BranchPythonOperator的上游出现故障时： from datetime im

浏览 160提问于2018-08-03得票数 4

回答已采纳

1回答

如何在dag* cloud composer中外部触发任务*

google-cloud-functions、airflow、google-cloud-pubsub、google-cloud-composer

我设法使用PubSub触发整个DAG (在此guide之后对PubSub进行了修改)，但它触发整个DAG，而不是单个任务。有没有办法从外部(从Cloud Function/PubSub)触发DAG中的1个任务？编辑这是我所认为的DAG代码的简化版本： import google.cloud.bigquery as bigquery from airflow import DAGfrom airflow.con

浏览 21提问于2021-03-23得票数 1

回答已采纳

1回答

将任务设置为上游失败，而不是运行

python、airflow

我有一个DAG，其结构如下： |regular_task ----- completeregular_task的状态应该是：如果任何一

浏览 1提问于2022-06-17得票数 0

1回答

在芹菜工人身上运行的气流传感器会发生什么？

airflow

它的执行状态由气流传感器监视，通过API调用轮询任务执行完成状态。如果芹菜节点发生故障，将如何处理运行在该节点上的传感器。如果传感器与工作人员一起死亡，如何将传感器执行传播到另一个节点(以避免functionality).丢失)。from datetime import datetime, timedeltafrom

浏览 5提问于2020-07-08得票数 0

2回答

如何在Airflow* dag中途成功退出任务？*

airflow、apache-airflow

我有一个在FTP服务器上检查文件的dag (airflow在单独的服务器上运行)。如果文件存在，则将文件移动到S3 (我们在此存档)。从那里，文件名被传递给Spark提交作业。我要做的是，如果S3存储桶中存在文件，则只运行Spark作业。我尝试使用S3传感器，但在满足超时标准后出现故障/超时，因此整个dag设置为failed。

浏览 1提问于2017-06-24得票数 1

1回答

为每个文件运行airflow DAG

python、airflow

所以我在airflow中有一个非常好的DAG，它基本上在二进制文件上运行几个分析步骤(作为airflow插件实现)。通过ftp传感器触发DAG，该传感器仅检查ftp服务器上是否有新文件，然后启动整个工作流程。所以目前的工作流程是这样的: DAG是按照定义触发的，->传感器等待ftp上的新文件，->分析步骤是在工作流程结束时执行的。我想要的是这样的东西: DAG是触发器，->传感器等待ftp上的新文件

浏览 11提问于2019-03-05得票数 4

回答已采纳

2回答

google环境中的环境健康意味着什么？

google-cloud-platform、google-compute-engine、airflow、google-cloud-composer

绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。但不确定环境有什么问题，以及当它发生时如何修复它。

浏览 0提问于2021-04-02得票数 2

回答已采纳

1回答

BranchPythonOperator未使用过去跳过的状态任务运行

python、airflow

这是我的气流传感器的样子。有一个分支任务，它检查一个条件，然后：运行任务A，然后运行任务B 'owner': 'airflow', 'depends_on_pas

浏览 0提问于2021-07-16得票数 1

1回答

ServiceNow与Airflow的集成

airflow、scheduler、servicenow、tivoli-work-scheduler

我们可以将ServiceNow与Airflow集成在一起吗？我的意思是，如果出现任何DAG故障，我们是否可以通过提交ServiceNow请求来重新运行故障的DAG/任务？

浏览 25提问于2019-08-09得票数 2

1回答

气流-当传感器被设置为软故障时如何发送电子邮件警报

python、airflow、sensors

在下面的进程中，传感器A被设置为soft_fail = True，因为如果A失败，我想跳过B和C。问题是，当A失败时，我仍然想得到一个电子邮件警告。但是，当soft_fail为真时，当传感器没有检测到任何东西时，A就被标记为成功，并且不会发出电子邮件警报。有人能帮我指出如何做到这一点吗？非常感谢。A(传感器，soft_fail =真) >> B >> C

浏览 3提问于2022-09-02得票数 1

回答已采纳

2回答

逆流跳过时气流"none_failed“跳过

python、airflow

我有一个工作流，其中有两个并行进程(sentinel_run和sentinel_skip)，它们应该根据条件运行或跳过，然后连接在一起(resolve)。我需要任何一个sentinel_任务的下游任务都有级联跳过，但是当它到达resolve任务时，resolve应该运行，除非这两个进程在上游出现故障。基于，"none_failed“触发器规则应该可以工作：这也是对的回答。然而，

浏览 9提问于2019-10-09得票数 3

回答已采纳

1回答

如果s3senors无法找到文件，则跳过airflow* Dag中的其余任务*

airflow、airflow-2.x

如果s3sensor操作员无法在s3位置找到文件，有没有办法跳过dag中的剩余任务。我知道我们可以使用短路运算符跳过这个任务，但我正在寻找一种方法，可以将短路运算符和s3sensor运算符集成在一起。如果没有，那么有没有其他方法可以做到这一点？提前谢谢你

浏览 23提问于2021-11-12得票数 0

2回答

Airflow中的文件依赖

python、shell、dependencies、airflow、airflow-scheduler

我有一个气流DAG，我想在每个月的特定日期触发它。这是一个表迁移任务，所以我不想移动它，除非目录中的表已经更新。只有在该目录中有某个文件时，我才能执行类似DAG在那天执行的操作？

浏览 47提问于2019-12-09得票数 0

5回答

Airflow :当一些上游被短路跳过时运行任务

airflow

当其中一个上游被ShortCircuitOperator跳过时，这个任务也会被跳过。我不希望跳过final任务，因为它必须报告DAG成功。为了避免被跳过，我使用了trigger_rule='all_done'，但它仍然被跳过。如果我使用BranchPythonOperator而不是ShortCircuitOperator，final任务不会被跳过。ShortCircuit DAG示例： from airfl

浏览 0提问于2018-08-07得票数 12

3回答

如何配置气流dag在每天的特定时间运行？

python、airflow

如何配置Airflow dag，使其在每天的指定时间执行，无论发生什么，就像crons一样。我知道可以使用TimeSensor获得类似的行为，但在这种情况下，它取决于传感器任务，并且可能与dag执行时间冲突。例如:使用传感器方法，如果我让传感器在0小时15分钟运行，但如果在以后执行dag，那么我的任务就会延迟，所以即使是使用传感器方法，我也需要确保Dag在正确的时间执行。那么如何确保Dag<

浏览 3提问于2016-02-27得票数 18

回答已采纳

2回答

如何触发与ExternalTaskSensor独立运行的气流DAG

airflow

我构建了两个DAG( dag_a，dag_b)，并在dag_b中创建了一个ExternalTaskSensor，它可以插入dag_a。同时调度dag_a和dag_b，并使用依赖关系先处理dag_a，然后处理dag_b 手动地独立触发dag_b，而不关心dag_a。dag_b将在ExternalTaskSensor为dag_a停下来，并将永远地戳。是否有一种方法

浏览 4提问于2021-05-12得票数 2

1回答

如何设置多操作符dag，以便在运行实例的所有任务完成之前不会实例化另一个实例？

airflow、apache-airflow、airflow-scheduler

dag实例的第一个任务之前)成功地完成。我们已在我们的战略中确定了以下几点：现在发生的情况是，如果实例化的守护进程没有任何错误，我们将看到所需的效果。但是，假设dag按计划每小时运行一次。在这个小时内，dag-a-i1实例按计划被触发。然后dag-a-i1任务t1成功运行，然后t2开始运行并失败。在该场景中，我们看到dag-a-i1实例按预期停止。当下一个小时到来时，我们看到dag-a-i2

浏览 0提问于2017-10-02得票数 2

1回答

ZenML Dag未显示在Airflow* UI中*

airflow、zenml

我正在试用ZenML，它说它可以将我的.py管道转换为气流DAG。我遵循了这里的每一步：https://docs.zenml.io/guides/low-level-api/chapter-7，都成功了我的管道在本地运行良好，但是为什么看不到在airflow UI上创建的DAG？有人知道如何让ZenML通过airflow成功运行我的代码吗？pipeline_config) -> Output()

浏览 68提问于2021-11-14得票数 1

回答已采纳

2回答

当外部任务失败时，气流ExternalTaskSensor不会失败

python、airflow

import DAGfrom airflow.operators.dummy_operatorimport DummyOperatorfrom airflow.sensors.external_task_sensorimport ExternalT

浏览 16提问于2020-10-06得票数 5

回答已采纳

点击加载更多