气流中DAG的post_execution挂钩

文章/答案/技术大牛

发布

1回答

python、airflow

找到在特定DAG完成后执行片断代码的方法(无论成功还是失败) 浏览一下源代码，我能够扩展BaseOperator并为操作符定义一个post_execution钩子。DAG也有类似的功能吗？编辑:我的最终目标是将DAG的状态发布到SQS队列。

浏览 12提问于2019-05-29得票数 0

1回答

Apache气流-用户管理和多租户

airflow

我正在尝试创建一个Apache气流实例，它可以容纳多个用户，不能对彼此产生负面影响。这将包括但不限于： 1)如果我遵循用户创建过程。创建的所有用户似乎都是管理员，但是我如何创建一个非管理用户并控制他们

浏览 0提问于2018-05-14得票数 5

回答已采纳

1回答

基于数据库表的气流DAG计划

airflow、airflow-scheduler

目前，我有DAG，其中调度间隔是在DAG本身中定义的。我想我也可以使用气流变量来实现这一点。我没有使用变量，而是考虑创建一个数据库表来存储值，并使用PostgresHook(或其他db挂钩)从表中提取数据，以填充DAG的schedule_interval、start_date或default_args我只是认为这可能会导致在airflow数据库上进行大量不必要的查询。

浏览 2提问于2020-07-06得票数 0

1回答

Airflow显示DAG导入错误(IndexError:列表索引超出范围)，但DAG工作正常

python、bash、airflow

这是我用来触发python脚本的脚本。monthly_run', dag=dag) 我给出了两个在py脚本中使用的args。因为我对不同的args使用相同的脚本。但是，气流用户界面显示了有关args的

浏览 3提问于2022-07-20得票数 2

回答已采纳

1回答

气流:从一个单独的文件创建DAG

airflow、airflow-scheduler

在气流中，我试图创建一个函数，用于在一个文件中生成DAG： with DAG( task_id="dynamic_dummy_task", )然后，在另一个文件中

浏览 4提问于2021-11-21得票数 0

回答已采纳

1回答

是否有可能从气流1中触发气流2进程，反之亦然？

airflow、airflow-scheduler、airflow-2.x

我们正在新旧气流之间进行迁移，我们试图实现从Airflow1到Airflow2的触发器(反之亦然)，这有可能吗？

浏览 3提问于2022-02-07得票数 0

回答已采纳

1回答

我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有一些只有在DAG实

浏览 0提问于2018-08-03得票数 2

回答已采纳

1回答

动态创建任务列表

airflow、apache-airflow

我有一个DAG，它是通过查询DynamoDB中的一个列表和列表中的每个项来创建的，这个任务是使用一个PythonOperator创建的，并将它添加到DAG中。在下面的示例中没有显示，但是需要注意的是，列表中的某些项依赖于其他任务，因此我使用set_upstream来强制执行依赖项。我认为这是因为每当run_task()被调用时，它都在运行workflow.py<e

浏览 3提问于2017-07-15得票数 2

回答已采纳

1回答

在google平台上，气流如何从dags主文件夹加载/更新DagBag？

google-cloud-platform、airflow、airflow-scheduler

请不要否决我的答案。如果需要，我将更新和纠正我的话。我做了我的家庭工作研究。我并不是新来的，所以试着去理解这一点。我试着从第69页找出我的答案。 3.11调度&触发气流调度器监视所有任务和所有DAG，并触发满足依赖关系的任务实例。

浏览 0提问于2020-08-23得票数 3

回答已采纳

1回答

快速API + Apache在码头的气流

python、docker、airflow、fastapi

我想要建立微型服务，我将有两个码头容器-快速API和Apache气流。那么，我的问题是如何从某个快速API端点提交一些新的DAG呢？我想应该是气流CLI吧？还是别的什么？

浏览 0提问于2021-09-17得票数 0

回答已采纳

2回答

如何触发从Python脚本中运行的气流DAG？

python、python-3.x、airflow、directed-acyclic-graphs

使用apache气流，我创建了一些DAGS，其中有些不按计划运行。编辑？？python脚本将从一个与我所有的DAGS所在的项目不同的项目中运行。

浏览 5提问于2020-02-04得票数 9

回答已采纳

3回答

气流DAG版本

airflow

DAG版本化是件事吗？我在这个问题上找不到多少关于谷歌搜索的东西。我想看看在气流中的DAG屏幕，并确定什么DAG代码是在野外。最简单的解决方案是将版本号作为dag_id的一部分，但我希望知道是否有人有更好的替代解决方案。标签也会工作，migjht在UI中看起来很好--虽然它们是为过滤而设计的，但我不确定是否会有不良的副作用。

浏览 4提问于2020-05-14得票数 9

2回答

使用Azure SQL server作为后端DB运行Apache气流

odbc、azure-sql-database、python-3.6、airflow、pymssql

虽然气流能够连接到DB并创建表，即气流initdb成功运行，但我在运行气流调度程序时面临问题，因此触发的任务总是处于“运行”状态。这是运行气流调度程序时遇到的错误： FROM dag W

浏览 4提问于2020-12-16得票数 0

1回答

气流场生命周期事件

airflow、airflow-scheduler

我正在努力管理气流降落(创建、执行等)。通过java后端。目前，在创建了一个守护进程并将其放置在气流的dags文件夹中之后，我的后端一直在尝试运行这个守护进程。但是，它不能运行，直到它的空气流量调度器，这可能需要相当一段时间，如果有更多的dags。我想知道是否有任何事件，气流发射，我可以点击，以检查新的dags处理的调度程序，然后触发，执行命令从我的后端。或者有一种方式或配置，<e

浏览 3提问于2020-12-30得票数 3

回答已采纳

1回答

气流schedule_interval和start_date让它总是在下一个间隔启动

cron、airflow、mwaa

我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？ start_date = previous_five_am 似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。

浏览 2提问于2021-02-20得票数 3

3回答

删除中的DAG* -气流用户界面*

airflow、google-cloud-composer

我想从气流UI中删除一个DAG，这在GCS/dags文件夹中不再可用。我知道气流有一种使用airflow delete_dag my_dag_id命令从DB中删除dags的“新”方法，这在中可以看到。在composer气流版本中，似乎还不支持delete_dag命令。不尝试这样做：--我也尝试过使用airflow resetdb --而且气流</

浏览 1提问于2018-05-31得票数 5

回答已采纳

1回答

将气流项目复制到气流DAGs目录中

python、airflow

我有一个具有以下结构的气流项目 | | |custom_operator2.py |通常情况下，如果我只有my_dag.py，我会这么做但是，在这种情况下，我不确定该如何将项目加载到气流DAGs列表中</

浏览 4提问于2022-04-15得票数 0

1回答

airflow.exceptions.AirflowException:找不到dag_id : sample_dag。要么该守护进程不存在，要么它无法解析。

airflow

我安装了气流。接下来，我跑了：但是气流抛出：我没有理由认为空白py文件应该工作，但我认为应该看到它。如何创建我的

浏览 5提问于2021-10-20得票数 0

回答已采纳

4回答

气流中的Python脚本调度

python、apache-spark、scheduling、reload、airflow

大家好，我需要使用气流调度我的python 文件(包含从sql和一些联接中提取的数据)。我已经成功地将气流安装到我的linux服务器上，而且我也可以使用气流的and服务器。但是，即使在阅读了文档之后，我也不清楚到底需要在哪里编写调度脚本，以及如何将该脚本应用到气流see服务器中，这样我就可以看到状态。就配置而言，我知道dag文件夹位于我的主目录中的位置，也知道示

浏览 4提问于2017-01-18得票数 31

1回答

如何在特定目录上手动运行气流DAG

workflow、bioinformatics、airflow、apache-airflow

我正在评估气流是否适合我的需要(在生物信息学中)。我对气流模型有些困难。具体地说：下面是我想要执行的一个例子。假设我刚收到一些数据作为一个目录，其中包

浏览 4提问于2017-05-26得票数 1

点击加载更多