更改Airflow DAG的执行并发性

文章/答案/技术大牛

发布

2回答

Apache气流:在单一DAG运行中运行所有并行任务

parallel-processing、task、scheduled-tasks、airflow

我有一个DAG，它有30个(或更多)动态创建的并行任务。应该修改哪个设置，以便只运行一个DAG，但是所有的30+任务都并行运行？根据的说法，它似乎是dag_concurrency或max_active_runs_per_dag之一，但前者似

浏览 0提问于2019-03-21得票数 3

回答已采纳

1回答

在气流中调度下游任务的时间非常长

airflow

我使用的是airflow 1.10.12，但发现下游任务会被调度器调度很长时间后其上游任务完成，这是非常奇怪的。例如，这里是甘特图，你可以发现任务是在其上游任务完成1分钟后安排的，有什么方法可以让它运行得更快吗？

浏览 0提问于2020-11-17得票数 0

2回答

python、concurrency、airflow

我想要更改特定气流DAG的dag_concurrency参数。airflow.cfg中似乎有一个全局dag_concurrency参数，但是否可以为不同的DAG设置不同的值？我尝试在SSHExecuteOperator任务的DAG代码中添加一个并发参数，但是在DAG详细信息中，并发值仍然显示标准参数(16)。from airflow import DAG<

浏览 17提问于2017-01-15得票数 6

回答已采纳

2回答

是否指定每个任务的并行度？

airflow

我知道在cfg中我可以设置并行度，但有没有一种方法可以针对每个任务或至少每个dag进行设置？dag1=parallelism: 4 #I am fine with downloading multiple files at once dag2

浏览 0提问于2017-04-07得票数 1

1回答

Airflow Scheduler为同一dag创建PID以每次生成任务

python、airflow、airflow-scheduler

是否存在为每个新ID /请求ID创建dag的问题。我观察到Scheduler一直在给出这个日志。Started a process (PID: 92186) to generate tasks for /Users/nshar141/airflow/dags/3.py - logging into/Users/nshar141/airflow/logs/scheduler/2018-05-07/

浏览 1提问于2018-05-08得票数 2

1回答

如何在气流中获取commit_id和分支信息

python、airflow

合并gitlab代码后，触发了airflow dag，如何获取合并后的gitlab的commit_id和分支信息

浏览 16提问于2021-08-10得票数 0

4回答

Airflow 1.10.3即使并发为8，SubDag也只能并行运行1个任务

airflow、directed-acyclic-graphs、airflow-scheduler

最近，我将Airflow从1.9升级到1.10.3 (最新版本)。但是，当放大SubDag时说当我们检查SubDag并发性时

浏览 2提问于2019-05-09得票数 12

2回答

如何在不跳过下游任务的情况下跳过airflow中的任务？

airflow-scheduler、directed-acyclic-graphs、airflow

假设这是我的dag: A >> B >> C 如果任务B引发异常，我希望跳过该任务，而不是使其失败。但是，我不想跳过任务C。

浏览 116提问于2021-04-24得票数 1

1回答

subDAG究竟是如何在气流中工作的？启用subDAG意味着什么？

python、airflow

我已经查看了气流subDAG部分，并试图在网上找到任何可能有帮助的东西，但是我没有找到任何详细解释如何使subDAG工作的东西。运行subDAG的要求之一是应该启用它。如何启用/禁用subdag？我编写了一些示例代码，这些代码在气流中不显示任何错误，但是当我尝试运行它时，subDAG中的任何一个操作符都不会被执行。=dag) t3.set_upstream(t2)代码

浏览 0提问于2016-07-11得票数 24

1回答

气流DAG下一次运行卡在过去。

python、airflow

下一个气流DAG运行的‘0014** 1,2,3,4,5’计划间隔是2022-10-31，14 :00，这是5小时前。是否可以跳过未执行的运行而不实际运行DAG？我也尝试过:手动触发DAG。将计划间隔更改为现在并运行DAG将创建3天的日志(2022-10-28，19:29:00)。将追赶改为True并不会执行任何新的运行。DEFAULT_ARGS = { "own

浏览 1提问于2022-10-31得票数 0

1回答

气流Oracle算子

oracle、airflow、operator-keyword

我对Airflow非常陌生，我正在尝试使用Oracle操作符执行我的第一个DAG。但是，我收到的错误是 “无效语法”以及"airflow.exceptions: dag_id找不到“，要么不存在，要么解析失败。我把我的dag放在了example_dags所在的位置-- (/usr/lib/python2.7/site-packages/airflow

浏览 2提问于2020-01-17得票数 4

1回答

气流DAG正在运行，但任务没有执行。

python、task、command-line-interface、airflow、directed-acyclic-graphs

我使用的气流1.10.2叉从流行的和使用CLI操作它读取。我已经创建了一个DAG，当我通过UI触发它时，它将被成功地执行。但是，当我使用命令行触发DAG时，DAG状态将开始运行，但任务将永远不会执行。对于下面图像的引用，DAG的ID是xcom_4_modules_ver_5 在通过调度的进程运行DAG并通过UI手动触发之后，我在CLI上执行<em

浏览 1提问于2019-04-15得票数 8

1回答

气流:如何从python脚本中取消DAG

python-2.7、airflow

我正在创建一个python脚本来从模板生成DAG (生成一个带有DAG规范的新python文件)。除了我需要以不可暂停的方式生成DAG之外，这一切都很好。我搜索并尝试在脚本中运行shell命令，如下所示： bash_command2 = 'airflow trigger_dag '通过我所做的研究，命令<

浏览 1提问于2018-11-16得票数 2

回答已采纳

5回答

从不工作的终端触发气流DAG

python、airflow

我正在尝试使用airflow来定义我想要从命令行手动触发的特定工作流。 "DAG_NAME", schedule_interval=None,default_args=args)airflow trigger_dag

浏览 2提问于2016-05-05得票数 24

1回答

不同工作节点上的气流DAG任务并行性

python、airflow-scheduler、airflow

我的DAG通常由下载文件、解压缩文件、上传到hadoop等任务组成，因此它们相互依赖，必须在单个机器/节点上运行。当气流在不同的节点上调度单个DAG、的这些任务时，我会出现错误，因为这些任务被调度在不同的机器上，但是我需要将DAG中的所有任务都调度在一台机器上。我尝试在dag_concurrency =1和max_active_runs_per_dag =1上设置airflow.cfg和初

浏览 1提问于2021-05-17得票数 1

回答已采纳

1回答

在气流上使用对接操作符安装目录不起作用

docker、airflow

我试图使用码头操作员自动执行一些脚本使用气流。我想要做的是“复制”我的项目的所有文件(文件夹和文件)到容器使用这段代码。task_ploomber = dag_ploomber[task_name] dag = dag_airf

浏览 2提问于2020-11-21得票数 0

3回答

示例DAG无限期地停留在"running“状态

airflow

在我对airflow的第一次尝试中，我尝试运行安装附带的一个示例DAGS。这是v.1.8.0。以下是我的步骤：[2017-04-19 15:32:38,391] {__init__.py:57} INFO-19 15:32:38,676] {models.py:167} INFO - Filling up the DagBag from /Users/gbenison/

浏览 10提问于2017-04-20得票数 31

1回答

ZenML Dag未显示在Airflow* UI中*

airflow、zenml

我正在试用ZenML，它说它可以将我的.py管道转换为气流DAG。我遵循了这里的每一步：https://docs.zenml.io/guides/low-level-api/chapter-7，都成功了我的管道在本地运行良好，但是为什么看不到在airflow UI上创建的DAG？UI完全是空的. 问题似乎是，ZenML将复制我以ZenML方式编写的.py管道，并期望

浏览 68提问于2021-11-14得票数 1

回答已采纳

1回答

Airflow :在发生SLA未命中事件时停止当前DAG执行

airflow、scheduler

面对Apache - Airflow中的场景，要求在sla未命中的情况下停止DAG执行，并继续后续DAG间隔的执行这样的功能可以在Airflow中配置吗？

浏览 49提问于2020-12-09得票数 1

点击加载更多

Apache气流:在单一DAG运行中运行所有并行任务

在气流中调度下游任务的时间非常长