在Airflow中获取操作员的执行日期

文章/答案/技术大牛

发布

1回答

python-3.x、airflow

我创建了一个我想使用的运算符。在execute方法中，我调用了一个函数，该函数请求何时运行的日期，但我一直无法获取日期。

浏览 59提问于2019-12-13得票数 0

回答已采纳

1回答

基于文件数的airflow创建子流程

airflow

在airflow中有一个新手问题，我在一个文本文件中有一个100+服务器列表。目前，python脚本用于登录到每个服务器、读取文件和写入输出。获取输出需要很长时间。如果将此作业转换为Airflow DAG，是否可以将服务器拆分为多个组，并使用任何操作员启动新任务？或者，只需修改Python脚本(就像使用async)并使用Python操作符执行即可。

浏览 22提问于2021-08-02得票数 0

回答已采纳

1回答

如何将Airflow与Github集成以运行脚本

python、github、airflow

如果我们在github仓库帐户中维护我们的代码/脚本，有没有办法从Github仓库复制这些脚本并在其他集群(可以是Hadoop或Spark)上执行。airflow是否提供任何操作员连接到Github以获取此类文件？任何关于这个场景的想法都会很有帮助。

浏览 1提问于2018-11-21得票数 7

1回答

Dags的Airflow CI设置

continuous-integration、airflow、apache-airflow

如果我想将airflow DAG推送到git repo，然后使用webhook执行jenkins作业，那么从那时起，我该如何处理airflow才能获得新的DAG？有没有实用工具/操作员来填充git repo中的dagbag？如果没有，谁能分享一下他们是如何用新的DAG设置填充达格包的吗？

浏览 0提问于2017-12-27得票数 2

1回答

访问操作员外部的气流默认变量

python、airflow、google-cloud-composer

我正在尝试创建一个动态任务列表，以检查前一天的批处理运行是否完成。为了实现这一点，我将计时( HHMM )存储在Airflow变量中，并使用datetime.now()变量来获取当前的HHMM并创建以前运行的列表。但是，当Airflow dag每次都得到验证时，它会获取最新的日期和时间，并根据这些日期和时间生成新的先前任务列表。但它将这些变量视为字符串或无法识别这

浏览 19提问于2020-05-08得票数 1

1回答

气流:操作人员能否在外部服务上运行，并与气流通信以更新DAG的进度？

airflow、directed-acyclic-graphs

我目前正在试验一种新的概念，即操作员将与外部服务通信以运行操作员，而不是在本地运行操作员，外部服务可以与气流通信以更新DAG的进度。BashOperator( bash_command="echo \"This Message Shouldn't Run Locally on Airflow\"",这是DAG的一部分：

浏览 2提问于2022-08-10得票数 0

回答已采纳

3回答

如何检查何时为特定dag安排了下一次Airflow DAG运行？

python、scheduled-tasks、airflow

我设置了airflow并运行了一些day，计划每天运行一次"0 0** *“。我想检查下一次计划运行特定dag的时间，但我看不到在管理员中哪里可以做到这一点。

浏览 1提问于2018-09-07得票数 12

回答已采纳

1回答

在气流中使用任务会导致下游任务

python、variables、directed-acyclic-graphs、airflow

我有一个airflow DAG，我需要在其中列出S3对象键并在下游任务中使用它们在任务开始时，我在列表的前缀中添加了S3键。此列表是在全局级别创建的。但在任务完成后，当我试图访问相同的列表时，我无法访问相同的列表。相反，我得到的是最初创建的空列表。我观察到在任务中声明为全局的变量也是如此。我已经创建了名为start_timestamp的变量，并在第一个任务中将其

浏览 20提问于2021-06-23得票数 0

回答已采纳

4回答

从UTC到CET的气流时区更改

python、airflow

我想在airflow中运行一个dag，其执行日期应为CET，但默认情况下AIRFLOW在UTC上运行。因此，如果我想在一个变量中使用TS或EXECUTION_DATE的值...它以UTC为单位显示当前时间。如何在CET时区获取execution_date

浏览 36提问于2018-12-16得票数 1

1回答

Snowflake -在Airflow中执行查询的输出

python、airflow、snowflake-cloud-data-platform

我有一个创建外键的查询(foreign_keys.sql)，输出是要添加FK的ALTER语句行，但是我如何执行这些语句？示例行： ALTER TABLE "EIV"."RTR"."ID_LINEITEMS" (ID); 下面如果我将如何在Airflow中运行它，那么我如何执行这些语句呢？queries/foreign_keys.sql', '

浏览 56提问于2021-11-04得票数 1

回答已采纳

1回答

找不到放置在Airflow中的本地文件- GCSToLocalFilesystemOperator

airflow

我们使用的是 task_id='download_file', bucket='our-bucket',) 这个任务运行得很好，但是对于我们的下一个任务，需要将local_file.json+srv://user:pas

浏览 3提问于2020-11-17得票数 0

1回答

需要创建自定义s3KeySensor

airflow

我正在使用airflow_docker，它似乎没有附带s3KeySensor。它确实带有一个Sensor类。如何创建自己的自定义s3KeySensor？下面是s3KeySensor的源代码我使用airflow docker的原因是它可以在容器中运行，并且我可以将aws角色凭证传递给任务容器，以便它具有正确和准确的权限来执行操作，而不是使用worker容器的角色权限。

浏览 37提问于2021-07-24得票数 0

2回答

如何在airflow的dag中找到特定任务的开始日期和结束日期？

airflow

我使用kwargs‘execution’来获取dag的执行日期，但它给出了调用整个dag的时间，但我需要特定任务在airflow中开始和结束的时间。

浏览 2提问于2020-05-02得票数 0

1回答

在airflow上执行任务期间，是否可以检索上次成功的任务执行日期？

airflow、airflow-scheduler

在Airflow上，我们目前使用dag级别的{{ prev_execution_date_success }}来执行查询。我想知道是否可以按任务获取它(例如，检索任务的最后成功执行日期，而不是整个DAG的执行日期) 谢谢你的帮忙

浏览 24提问于2020-11-16得票数 1

回答已采纳

1回答

导入缺失模块

airflow、google-cloud-composer

在气流中正确导入模块的惯例是什么？我想进口这个操作员：from airflow.contrib.operators import MLEngineTrainingOperator 我得到了以下

浏览 0提问于2019-01-27得票数 0

1回答

在气流上使用对接操作符安装目录不起作用

docker、airflow

我试图使用码头操作员自动执行一些脚本使用气流。我想要做的是“复制”我的项目的所有文件(文件夹和文件)到容器使用这段代码。) 当我使用气流执行这个DAG时，我得到了对接者找不到/home/letyndr/airflow/dags/ml-intermediate/script.sh脚本的</e

浏览 2提问于2020-11-21得票数 0

2回答

SparkSubmitOperator与SSHOperator在airflow中提交pyspark应用程序的比较

airflow-scheduler、spark-submit、airflow、apache-spark-2.3

我有不同的spark和airflow服务器。我没有在airflow服务器上安装spark二进制文件。我能够很好地使用SSHOperator并在集群模式下运行spark作业。

浏览 9提问于2020-06-25得票数 1

2回答

关于在码头集装箱内气流发生故障/重试的电子邮件

docker、docker-compose、smtp、airflow

我试图使用以下LocalExecutor.yml文件运行puckel气流对接器容器： smtp_port = 25在repo:中包含的entrypoint.sh脚本中编辑环境变量 : "${AIRFLOW__SMTP__SMTP_HOST:="smtp-host"

浏览 3提问于2019-11-06得票数 2

3回答

如何设置气流发送电子邮件？

python、smtp、airflow

我按照在线教程在airflow.cfg中设置了电子邮件SMTP服务器，如下所示：email_backend = airflow.utils.email.send_email_smtpsmtp_user = smtp_port = 587我的DAG如下：from a

浏览 1提问于2018-08-14得票数 29

回答已采纳

1回答

在Google的气流实例上安装apache- airflow* -backport-providers-google模块*

airflow、google-cloud-composer、google-cloud-data-fusion

我需要从Composer中执行数据融合管道，为此使用Data：当我试图在编写器2021.3.3 has requirement

浏览 6提问于2021-10-15得票数 0

回答已采纳

点击加载更多