是否可以让气流调度器先完成前一天的循环，然后再开始下一天的循环？
是否可以让气流调度器先完成前一天的循环，然后再开始下一天的循环？
提问于 2016-12-07 12:06:00
现在，我的DAG中的节点在该DAG的其余节点完成之前继续执行第二天的任务。有没有办法让它等待DAG的其余部分完成后再进入第二天的DAG周期？
(我的depends_on_past是真的，但在这种情况下不起作用)
我的DAG看起来像这样：
O
l
V
O -> O -> O -> O -> O另外，dag的树状图]
回答 4
Stack Overflow用户
发布于 2017-03-23 01:51:58
这个答案可能有点晚了，但我遇到了同样的问题，我解决这个问题的方法是在每个dag中添加两个额外的任务。开头是"Previous“，结尾是"Complete”。前一个任务是外部任务传感器，它监视前一个任务。Complete只是一个虚设操作符。假设它每30分钟运行一次，那么dag将如下所示：
dag = DAG(dag_id='TEST_DAG', default_args=default_args, schedule_interval=timedelta(minutes=30))
PREVIOUS = ExternalTaskSensor(
task_id='Previous_Run',
external_dag_id='TEST_DAG',
external_task_id='All_Tasks_Completed',
allowed_states=['success'],
execution_delta=timedelta(minutes=30),
dag=DAG
)
T1 = BashOperator(
task_id='TASK_01',
bash_command='echo "Hello World from Task 1"',
dag=dag
)
COMPLETE = DummyOperator(
task_id='All_Tasks_Completed',
dag=DAG
)
PREVIOUS >> T1 >> COMPLETE因此，下一个dag，即使它将进入队列，它也不会让任务运行，直到前一个任务完成。
Stack Overflow用户
发布于 2019-08-27 06:37:40
最终对我起作用的是以下几点
在创建dag时，添加任务依赖项: depends_on_past=True
- Adding，
- to。我确实尝试将max_active_runs添加为默认参数，但这不起作用。
Stack Overflow用户
发布于 2017-02-16 21:08:47
如果您希望一次只运行一个实例，那么可以尝试设置max_active_runs=1
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41009228
复制相关文章
相似问题
腾讯云开发者
