6回答
气流ExternalTaskSensor卡住
python、airflow
我正在尝试使用ExternalTaskSensor，它被困于戳另一个DAG的任务，这个任务已经成功地完成了。在这里，第一个DAG "a“完成它的任务，然后通过ExternalTaskSensor触发第二个DAG "b”。相反，它被困在a.first_task上。第一次DAG：from airflow import DAG
from airflow
浏览 8提问于2017-10-18得票数 21
回答已采纳
1回答
可以在另一个时间使用externalTaskSensor运行两个dags吗？上午10点。(成功)上午12点。(失败)下午2点。用ExternalTaskSensor？from airflow.operators.sensors import ExternalTaskSensorf
浏览 5提问于2020-05-19得票数 0
3回答
气流外部传感器被卡住了
airflow、airflow-scheduler
我希望一个进程在完成另一个进程之后启动。一个解决方案是使用外部传感器功能，下面您可以找到我的解决方案。我遇到的问题是依赖的守护进程陷入了戳，我检查了这个并确保这两个dag按照相同的时间表运行，我的简化代码如下所示:任何帮助都将不胜感激。领袖达格：from airflow.operators.bash_operator import BashOperator
from datetimeimport ExternalTaskSenso
浏览 0提问于2018-10-13得票数 9
回答已采纳
2回答
复杂气流交叉DAG依赖性
python、airflow、etl、pipeline
在我的气流中有两种类型的DAG：
每小时三次DT1s触发。一次DT2 -每天触发一次(~10或11 PM)。
浏览 17提问于2022-06-13得票数 0
1回答
在气流中，如何在满足条件后才重试一项任务？
airflow、scheduler、directed-acyclic-graphs
假设我们有两个DAG，每个DAG只包含一个任务：DAG的运行可能会失败在这种情况下，我们应该等待DAG A在重新尝试任务B之前再次运行。我们可以使用任务B的retries参数来重试它，比方说每小时一次，看看现在是否可以使用每小时的数据。但这根本不是最优的，因为我们知道，如果Task失败一次，它总是会失败，至少在DAG<
浏览 0提问于2022-10-16得票数 0
1回答
气流ExternalTaskSensor执行超时
airflow
我使用airflow.operators.sensors.ExternalTaskSensor让一个Dag等待另一个Dag。dag = DAG( default_args={ 'depends_on_past': False,= ExternalTaskSensor</em
浏览 1提问于2019-04-25得票数 6
回答已采纳
1回答
我有一个主DAG，在这个主DAG中，我调用所有DAG来依次执行我正在使用ExternalTaskSensor，因为即使在第一个dag_A中的所有任务都完成之前，它就启动了第二个dag_B，为了避免这样的问题，我正在使用ExternalTaskSensor.If更好的实现，请告诉我。impor
浏览 5提问于2020-06-25得票数 3
1回答
Airflow ExternalTaskSensor一直在戳另一个dag
python、airflow
我想使用ExternalTaskSensor。TaskSensor = ExternalTaskSensor( execution_date_fn=None,我根据A编写了一个dag B。当dag<
浏览 34提问于2018-01-18得票数 2
2回答
当外部任务失败时，气流ExternalTaskSensor不会失败
python、airflow
我试图使用气流1.10.11中的ExternalTaskSensor来管理坐标。import DAGfrom airflow.operators.dummy_operatorimport ExternalTaskSensor
sensors_dag = <e
浏览 16提问于2020-10-06得票数 5
回答已采纳
1回答
'{{ ds }}‘不递增
airflow-scheduler、airflow
from airflow import DAGfrom airflow.operators.postgres_operatorimport PostgresOperatorimport syssys.path.insert(0, '/home/ubuntu&#
浏览 1提问于2020-04-20得票数 0
3回答
如何在Airflow中设置DAG之间的依赖关系？
python、etl、airflow
我有一个每晚运行的DAG (A)和另一个每月运行一次的DAG (B)。B依赖于A已成功完成。但是，B需要很长时间才能运行，因此我希望将其放在单独的DAG中，以便更好地报告SLA。如何使运行DAG B依赖于在同一天成功运行DAG A？
浏览 3提问于2016-06-25得票数 45
回答已采纳
2回答
在Apache气流中实现交叉DAG依赖关系
airflow、directed-acyclic-graphs
我正在尝试实现两个DAG之间的DAG依赖，比如A和B。DAG A每小时运行一次，DAG B每15分钟运行一次。
from datetime import datetime,timedelta
from
浏览 4提问于2021-05-29得票数 4
2回答
气流external_task_sensor不停地戳
python、airflow、airflow-scheduler
我需要在另一个进程中等待另一个任务，直到我能够触发我自己的任务。但我的外部感应器不停地戳。我已经阅读了一些其他相关的问题，并确保我已经调整了execution_delta。不过，我也有同样的问题。这是我的两个笨蛋import datetimefrom airflow import modelsfrom airflow.operators
浏览 2提问于2022-01-25得票数 0
回答已采纳
2回答
我构建了两个DAG( dag_a，dag_b)，并在dag_b中创建了一个ExternalTaskSensor，它可以插入dag_a。同时调度dag_a和dag_b，并使用依赖关系先处理dag_a，然后处理dag_b
手动地独立触发dag_b，而不关心dag_a。对于ExternalTaskSensor，用例1工作得很好。但是用例2不起作用。dag</
浏览 4提问于2021-05-12得票数 2
1回答
如何检查外部传感器气流中DAG中任务的不同运行时间
python、python-3.x、airflow、airflow-scheduler
假设我有一个DAG ，包括一些任务，这些任务依赖于DAG B中另一个任务上的外部传感器。问题是DAG中的任务将永久终止，因为DAG B中的任务在10:00中失败。我如何在外部传感器气流中实现这样的事情:在另一个DAG中检查下
浏览 9提问于2021-11-03得票数 1
回答已采纳
3回答
如何在另一个DAG使用Python在气流中成功时触发DAG？
python、python-3.x、airflow、directed-acyclic-graphs、airflow-scheduler
我有一个python Parent Job和DAG Child Job。Child Job中的任务应该在成功完成每天运行的Parent Job任务时触发。如何添加外部作业触发器？我的代码from airflow import DAG
from airflow.operators.postgres_operatordatetime.combine(datetime.today() - timedelta(1), datetime.min.ti
浏览 7提问于2020-04-30得票数 22
回答已采纳
1回答
带有非计划上游DAG的气流外部任务传感器
airflow、airflow-2.x
我的意思是说，我们的一些DAG不是计划好的，而是外部使用气流API触发的。我们正在尝试执行以下操作:在计划的DAG (DAG1)中拥有一个传感器，该传感器可以感知外部触发的DAG (DAG2)中的任务已经运行。例如，DAG1在上午11点运行，我们希望确保DAG2自00:00以来至少运行了一次(由于外部触发器)。这是我定义的传感器：from airflow.sensors import ex
浏览 9提问于2022-05-04得票数 3
2回答
气流: ExternalTaskSensor不像预期的那样工作。不同的任务计划
python、airflow、airflow-scheduler
我写了这样的代码：import time
from airflow.operators.dummy_operator import DummyOperatorfrom airflow import DAGfrom airflow.operators.python_oper
浏览 5提问于2021-03-06得票数 4
1回答
如何动态创建气流任务
python、airflow
一种方法是创建一个DAG，它将监视所有这些100+ DAG，一旦成功，将触发发送给业务团队的电子邮件。这种方法的问题在于，我们需要100+ ExternalTaskSensor操作符来监视所有这些DAG，而且从维护的角度来看，随着DAG数量的不断增加，它也不太好。
浏览 2提问于2022-08-27得票数 0
1回答
不同调度间隔的气流ExternalTaskSensor
airflow、airflow-scheduler
目前，我有两个DAG: DAG_A和DAG_B。
DAG_A有一个Task1，通常需要7个小时才能运行。DAG_B只需3小时。DAG_B有一个ExternalTaskSensor(external_dag_id="DAG_A", external_task_id="Task1")，但也使用其他每小时生成的信息X。怎样才能提高DAG_B的频率，使其一天至少运行4次？据我所知，这两
浏览 2提问于2021-07-15得票数 3
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号