当我开发气流,打开我的DAG,它会失败,比如说,步骤6,步骤7-9不会启动。但是在我调试这个问题之前,下一个实例(我将把start_date放在过去)将一直运行到步骤5,在步骤6上失败,完全扰乱了我的工作流程。这种行为是预期的,还是可以关闭,这样直到这个实例在任何地方都是绿色的,下一个实例才会启动?
发布于 2017-01-30 01:46:08
请检查文档,以查看可以在运算符上设置的以下两个选项。
depends_on_past (bool) -当设置为true时,任务实例将按顺序运行,同时依赖于前一个任务的调度来成功。允许运行start_date的任务实例。 wait_for_downstream (bool) -当设置为true时,任务X的实例将等待任务X的上一个实例的下游的任务在运行之前成功完成。如果任务X的不同实例更改了相同的资产,并且任务X的下游任务使用了该资产,那么这一点非常有用。注意,无论在哪里使用depends_on_past,都会强制使用wait_for_downstream。
https://stackoverflow.com/questions/41905602
复制相似问题