我正在使用Astronomer运行Airflow v1.10.10。每个dag运行(每天)可以有不同数量的任务。此任务数将由给定dag运行(即当天)的数据库表中的行数定义。我将在dag文件中运行一个查询,并创建一个如下列表:
list = client.query(SELECT * FROM TABLE WHERE DATE =
我有一个包含数万个任务的ApacheAirflowDAG,在运行之后,我发现其中有几个任务失败了。 我修复了导致某些任务失败的错误,我只想重新运行失败的任务。这篇SO帖子建议使用图形用户界面“清除”失败的任务: How to restart a failed task on Airflow 如果您有少量失败的任务,则此方法有效。我想知道我们是否可以</
我知道在cfg中我可以设置并行度,但有没有一种方法可以针对每个任务或至少每个dag进行设置?dag1=parallelism: 4 #I am fine with downloading multiple files at once
task_idparallelism: 4 #It is fine to have multiple tables processed at once since there wil