我的Ariflow脚本有几个任务,使用python操作符启动一个使用boto3的粘合作业。即使流程依赖于Ariflow中的每个任务。连续的任务不会等到前一个任务成功完成。一旦调用了前一个粘合作业任务,就会调用下一个粘合作业任务。最后,尽管气流看起来成功完成,但胶水作业仍然运行了几分钟。from airflow import DAG
fro
我想使用airflow进行图像处理。 我有4个任务:图像预处理(A),边界框查找(B),分类(C),图像最终确定(D)。图表如下所示: A -> B1 -> C \ -> B3 -> C /
-> Bn -> C / 图像预处理任务的输出是边界框建议的列表,对于每个边界框,我运行分类,一旦所有分类任务结束,我就运行图像finalize。我希望所有的东西都是并行运行<em