腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Airflow
,
创建
时
启用
dag
python
、
airflow
当我在python中
创建
一个带有气流的
DAG
时
,我可以传递一些参数。: False, 'retries': 1, } schedule_interval='@daily',
浏览 23
提问于2019-09-16
得票数 7
回答已采纳
1
回答
如何开始使用气流,通过
创建
一个
DAG
来调用我在另一个回购(按计划)中的python代码?
airflow-scheduler
、
airflow
详细信息:有一个链接:快速启动 我
启用
了“一步一步地,我需要做什么来
创建
一个新的作业来执行我的代码?没有添加
DAG
(无加号按钮)来添加
DAG
。是这个主意吗? 还需要以下方面的帮助:将有助于入门,
浏览 1
提问于2021-05-21
得票数 1
1
回答
ZenML
Dag
未显示在
Airflow
UI中
airflow
、
zenml
我正在试用ZenML,它说它可以将我的.py管道转换为气流
DAG
。我遵循了这里的每一步:https://docs.zenml.io/guides/low-level-api/chapter-7,都成功了 我的管道在本地运行良好,但是为什么看不到在
airflow
UI上
创建
的
DAG
?有人知道如何让ZenML通过
airflow
成功运行我的代码吗?pipeline_config) -> Output( X=pd.DataFrame, y=pd.Da
浏览 68
提问于2021-11-14
得票数 1
回答已采纳
1
回答
如何处理气流中的MFA
airflow
我已经
创建
了列出S3文件的
DAG
文件。当未
启用
多因素身份验证(MFA)
时
,此
Dag
文件工作正常。之后,我
启用
了AWS帐户MFA,然后
DAG
文件显示“访问被拒绝”异常。有谁知道如何在列出S3文件
时
处理
Airflow
中的多因素身份验证
浏览 1
提问于2021-02-09
得票数 1
12
回答
Airflow
未在/usr/local/
airflow
/dags中加载dags
airflow
Airflow
似乎跳过了我添加到/usr/local/
airflow
/dags中的dags。example_passing_params_via_test_commandexample_short_circuit_operatorexample_subdag_operator.section-1exam
浏览 0
提问于2017-08-07
得票数 29
1
回答
启用
subDAG意味着什么?
python
、
airflow
运行subDAG的要求之一是应该
启用
它。如何
启用
/禁用subdag?import osfrom
airflow
.operators import BashOperatorfrom
airflow
.models
浏览 0
提问于2016-07-11
得票数 24
5
回答
从不工作的终端触发气流
DAG
python
、
airflow
我正在尝试使用
airflow
来定义我想要从命令行手动触发的特定工作流。 "
DAG
_NAME", schedule_interval=None,default_args=args)
airflow
trigger_
dag
DAG<
浏览 2
提问于2016-05-05
得票数 24
1
回答
运行气流命令来安排
DAG
的正确顺序是什么?
airflow
、
apache-airflow
我不知道需要运行什么命令才能安排
DAG
。假设我使用
airflow
test
dag
_name task_id_1 2017-06-22测试了
DAG
,第二个任务使用了
airflow
test
dag
_name task_id_2 2017-06我运行了
airflow
trigger_
dag
dag
_name,但这是为了在那个时刻实例化
DAG
吗?(2017, 6, 23, 20), schedule_interval =
浏览 14
提问于2017-06-23
得票数 0
2
回答
在气流中
创建
DAG
的可能性
airflow-scheduler
、
airflow
有没有一种方法可以从代码动态生成
DAG
文件并将其上传到
AirFlow
上(
AirFlow
从
DAG
目录读取,但为每个
DAG
创建
文件并将其上传到该文件夹的速度很慢)?是否可以
创建
一个模板
dag
,并在需要
时
使用新逻辑填充它? 我看到他们正在开发API。当前版本只有一个触发器
DAG
选项。
浏览 3
提问于2020-02-25
得票数 0
1
回答
DAG
导入在两种方式上的区别?
airflow
我正在尝试
创建
动态的
dag
,但似乎在一分钟内失败了。我偶然发现在两个不同的地方
创建
了
DAG
对象: from
airflow
import
DAG
确实让我感到困惑,因为在相同的文档中有两种方法来实例化
DAG
对象。
浏览 0
提问于2018-06-22
得票数 0
1
回答
气流:如何从python脚本中取消
DAG
python-2.7
、
airflow
我正在
创建
一个python脚本来从模板生成
DAG
(生成一个带有
DAG
规范的新python文件)。除了我需要以不可暂停的方式生成
DAG
之外,这一切都很好。+ str(
DAG
_ID) subprocess.c
浏览 1
提问于2018-11-16
得票数 2
回答已采纳
2
回答
重新处理气流的历史数据
airflow
、
airflow-scheduler
假设我有一个简单的
DAG
,它
创建
/覆盖许多日常表: my_table_a_YYYYMMDD、my_table_b_YYYYMMDD、my_table_c_YYYYMMDD…… 它基本上使用BigQueryOperator在daily_basis上运行当前日期的SQL语句,该日期是使用
airflow
{{ ds }} variable在SQL文件上模板化的。重新执行以前的
dag
运行,修复我的表的最佳方法是什么? 是否可以通过
Airflow
UI,或者我必须以某种方式远程触发
DAG
浏览 16
提问于2020-01-08
得票数 2
2
回答
Airflow
不从帮助器类拾取dags
python-3.x
、
airflow
我尝试使用一个helper类来
创建
一个带有传入参数的
dag
。但是当我尝试在我的
dag
文件中导入这个类
时
,
airflow
不能接收它。下面是我的helper类:from
airflow
.operators.bash import BashOperator': datetime.now()-timedelta(days=1),
浏览 4
提问于2021-09-16
得票数 2
2
回答
Airflow
DAG
每秒运行,而不是每分钟运行
airflow
、
airflow-scheduler
我试图安排我的
DAG
每分钟运行一次,但它似乎是每秒钟运行一次。根据我所读到的所有内容,我应该只需要在我的
DAG
中包含schedule_interval='*/1 * * * *', #..every 1 minute,就是这样,但它不起作用。下面是我设置的一个简单示例来测试它:from
airflow
.operators import SimpleHttpOperator, HttpSensor': timedelt
浏览 96
提问于2018-06-05
得票数 7
回答已采纳
1
回答
气流用户界面不能手动触发进程。
python
、
airflow
版本: from datetime import datetimefrom
airflow
.operators.dummy_operator import
dag
=
DAG
('say_we
浏览 0
提问于2018-12-03
得票数 0
1
回答
获取日志文件不存在:当试图在本地气流上运行一个进程
时
python
、
ubuntu
、
airflow
、
directed-acyclic-graphs
我在我的ubuntu机器上本地运行气流,我的
airflow
.cfg文件在目录:/home/
airflow
/
airflow
中,所以我为我的dags
创建
了一个子目录,即/home/
airflow
/
airflow
/dags/,并在那里
创建
了一个
dag
。我为检查示例输出而
创建
的
dag
是: from datetime import datetime
浏览 15
提问于2022-11-13
得票数 0
1
回答
气流-一些端点返回405 s的实验API
airflow
我在用apache-
airflow
==1.10.2。使用直接打开的配置(没有
启用
身份验证),我可以使用POST /api/experimental/dags/<
DAG
_ID>/
dag
_runs端点
创建
DAG
运行。然而,当我尝试使用GET /api/experimental/dags/<
DAG
_ID>/
dag
_runs
时</
浏览 2
提问于2019-02-22
得票数 3
3
回答
从Composer连接CloudSQL Postgresql
google-cloud-composer
我有
启用
VPN连接,Google (PostgreSQL)数据库实例具有相同的VPN连接和SSL
启用
。云SQL既有公共IP地址,也有私有IP地址。在气流->连接部分
创建
与Puplic作为端口的单独连接。由于此CloudSQL
启用
了SSL,所以将证书推送到
DAG
的GCS位置。/
airflow
/gcs/dags/certificates/client-key.pem"在错误信息下面, 操作错误:私钥文件"
浏览 6
提问于2019-09-17
得票数 4
2
回答
防止禁用的
DAG
在
启用
时立即运行
ubuntu
、
airflow-scheduler
、
airflow
在
Airflow
1.10.10中,当禁用的
DAG
通过按下按钮将其状态从Off更改为On来
启用
时,
DAG
将始终在下一次计划运行时间之前运行一次。目前,我需要在将其状态切换为On后快速终止
DAG
运行。
浏览 1
提问于2020-06-17
得票数 4
2
回答
命令行选项以激活气流DAGs
command-line
、
continuous-integration
、
airflow
、
apache-airflow
我们有一个连续的集成管道,自动将我们的气流
DAG
部署到气流服务器。在部署新版本的
DAG
时
,默认情况下其状态为OFF。我们希望将其转换为ON,作为部署过程执行的任务的一部分。气流中是否有允许打开
DAG
的命令行选项?谢谢
浏览 3
提问于2017-11-22
得票数 6
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
调度工具Airflow
任务流管理工具-Airflow配置和使用
airflow 实战系列:基于 python 的调度和监控工作流的平台
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券