是否可以在hiveconf变量的名称中使用点？如果是：为什么或要将变量传递给像这样的单元脚本？难道
浏览 8提问于2017-03-29得票数 0
2回答
有没有一种方法可以从代码动态生成DAG文件并将其上传到AirFlow上(AirFlow从DAG目录读取，但为每个DAG创建文件并将其上传到该文件夹的速度很慢)？是否可以创建一个模板dag，并在需要时使用新逻辑填充它？
我看到他们正在开发API。当前版本只有一个触发器DAG选项。
浏览 3提问于2020-02-25得票数 0
我是Apache airflow的新手，正在使用DAG。下面给出了Y代码。 在输入json中，我有一个名为'sports_category‘的参数。如果它的值是'football‘，那么football_players任务需要运行；如果它的值是cricket，那么'cricket_players’任务就会运行。import airflow
from airflow import <em
浏览 15提问于2020-07-01得票数 0
回答已采纳
我正在尝试创建动态的dag，但似乎在一分钟内失败了。我偶然发现在两个不同的地方创建了DAG对象：
from airflow import DAG 确实让我感到困惑，因为在相同的文档中有两种方法来实例化DAG对象。
浏览 0提问于2018-06-22得票数 0
我试图安排我的DAG每分钟运行一次，但它似乎是每秒钟运行一次。根据我所读到的所有内容，我应该只需要在我的DAG中包含schedule_interval='*/1 * * * *', #..every 1 minute，就是这样，但它不起作用。下面是我设置的一个简单示例来测试它：from airflow.operators import S
浏览 96提问于2018-06-05得票数 7
回答已采纳
我正在使用Airflow 设置交叉依赖的DAGS。我有一个特定的使用案例，其中我的DAG B要求DAG A首先运行-但是，如果DAG A延迟足够长时间，DAG B仍应运行。因此，我本质上是在寻找一种方法来连接两个传感器之间的OR操作。假设DAG B需要每天下午5点运行，那么我将在代码中这样做： CURRENT_TI
浏览 12提问于2020-09-03得票数 1
我正在评估Apache airflow在数据环境中的生产使用，我想知道使用airflow是否可以在自适应扩展Kubernetes集群上的自包含docker环境中运行操作员。我找到了以下运算符：KubernetesPodOperator，它似乎可以完成这项工作，但我找到的唯一示例都是在Google Cloud上。我想在AWS上运行这个，但是我还没有找到任何如何做到这一点的例子。我相信AWS EKS或AWS fargat
浏览 16提问于2019-02-03得票数 4
请告诉我，airflow中的DAG是没有任何实际数据(如参数)的图形(如占位符)，还是类似于实例(用于固定参数)的DAG？ 我想要一个系统，其中要执行的操作集(给定一组参数)是固定的。简单地说，管道是相同的，但管道的参数在每次运行时都是不同的。 我想知道如何在airflow中配置这个？我应该为
浏览 81提问于2019-10-08得票数 1
我正在努力理解如何使用Airflow 2.0 DAG和任务装饰器读取任务中的dag配置参数。考虑下面这个简单的DAG定义文件： from airflow.decorators import dag, task
my_dag = lovely_dag</e
浏览 140提问于2021-01-13得票数 3
回答已采纳
我想将DAG文件添加到Airflow中，它在Ubuntu上的Docker中运行。我使用了以下，其中包含配置和到docker镜像的链接。当我运行docker run -d -p 8080:8080 puckel/docker-airflow webserver时，一切都正常工作。但我找不到一种方法来安全地将DAG添加到气流中。此外，在home/root/dags中添加了一
浏览 3提问于2018-09-17得票数 10
我使用的是airflow 1.10.12，但发现下游任务会被调度器调度很长时间后其上游任务完成，这是非常奇怪的。例如，这里是甘特图，你可以发现任务是在其上游任务完成1分钟后安排的，有什么方法可以让它运行得更快吗？
浏览 0提问于2020-11-17得票数 0
' and 'datetime.datetime'
我在cli中使用backfill作为airflow backfill尝试将start_date在default_args中设置为airflow.utils.dates.days
浏览 2提问于2018-09-05得票数 1
1回答
我按照中的说明动态创建DAGs，通过变量k修改要创建的dags的数量from airflow import DAG我可以使用UI和CLI检查创建的DAG。两者是同步的：dag
浏览 16提问于2021-02-20得票数 2
刚开始使用气流，想知道构建大型DAG的最佳实践是什么。对于我们的ETL，我们有许多属于逻辑分组的任务，但是组之间是相互依赖的。下列哪一项将被视为最佳做法？一个包含该文件中所有任务的大型DAG文件
也愿意听取其他建议。
浏览 1提问于2017-01-05得票数 15
回答已采纳
与前面的问题类似，但给出的答案都不起作用。我有一个DAG：import os
from airflow.contrib.operators.dataflow_operator然而，当我部署DAG时(当天晚些时候，2019年7月30日)，它只是一个接一个地运行DAG，一个接一个，一个接一个。
由于此任务需要移动一些数据，因此这是不可取的。如您所见，我在<
浏览 37提问于2019-07-31得票数 0
2回答
我试图在气流DAG中编写Python操作符，并将某些参数传递给Python可调用程序。 provide_context=True, dag=dag)
queue=QUEUE,
start.set_do
浏览 0提问于2019-02-15得票数 9
回答已采纳
我在GCP (Airflow)上创建了一个Composer Cluster，它工作得很好，但对于直接的任务来说它很慢。我在本地文件中创建了下一个DAG：from airflow import modelsfrom airflow.contrib.kubernetesairflow.contrib.operators.kubernetes_pod_operator impo
浏览 0提问于2020-03-03得票数 0
我正在遵循这个链接中提到的教程- 。当我在Composer中运行这个程序时，我想将它放入本机路径，即/home/airflow/gcs/dag，但是它失败了，没有找到错误路径。这是我要执行的任务- task_id="download_launches",
bash_command="curl-o /tmp/launches.json
浏览 15提问于2022-08-10得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
