腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
动态dags中的on_failure_callback
、
、
('Inside failure callback for {}'.format(
dag
_id)) logging.info('Inside
python
callable for {}'.format(
dag
_id)) raise Exception('Exception raised for
dag
_iddefault_args=def
浏览 52
提问于2019-02-18
得票数 0
回答已采纳
1
回答
根据之前的任务为5个
python
脚本创建管道
、
我想创建一个使用airflow的管道调度器,它将执行存储在主目录中的5个
python
脚本。
python
脚本是: test1.py、test2.py、test3.py、test4.py和final.py。我应该如何在airflow中加载脚本,任何人可以帮助我与代码片段。
浏览 1
提问于2019-01-15
得票数 0
1
回答
气流-任务的下游任务列表
、
、
例如,在
dag
-dummy1> dummy2 > dummy3 > dummy4中有4个任务。我需要dummy2所有下游任务的列表,输出应该是dummy3和dummy4。
浏览 3
提问于2020-06-23
得票数 1
回答已采纳
1
回答
错误: airflow.exceptions.AirflowException:初始化运算符时使用关键字参数
、
、
、
=load_csv_data(),
dag
=
dag
) fetchdata=PythonOperator('fetch_data',
python
_callable=load_csv_data(),
d
浏览 14
提问于2022-04-28
得票数 0
回答已采纳
1
回答
气流从第一任务开始
因此,我创建了一个
DAG
,用于每日备份、还原和删除,并使用分支。else:对于end_task_op task_id='end',
python
_callable
浏览 1
提问于2020-06-02
得票数 0
回答已采纳
1
回答
使用
Python
创建动态任务的Airflow
、
我得到了这个:我的达格:from airflow import
DAG
import osfrom airflow.operators.
python
_operator=
dag
,
浏览 3
提问于2020-03-11
得票数 0
1
回答
如何开始使用气流,通过创建一个
DAG
来调用我在另一个回购(按计划)中的
python
代码?
、
我的本地机器上有一个git,带有一些
python
代码c:\repos\myrepo\src\test.py <==,这是我希望气流按计划运行/执行的
python
脚本。现在,我希望气流循环地调用
python
脚本(test.py) (例如,在特定时间,每天一次)。我点击那里: 我启用了“example
浏览 1
提问于2021-05-21
得票数 1
2
回答
dag
.py会引发:"airflow.exceptions.AirflowException:任务缺少start_date参数“,但它是在代码中给出的
、
、
=
dag
,
python
_task.set_downstream, in <module> <
浏览 3
提问于2020-05-12
得票数 8
回答已采纳
1
回答
用复杂触发规则构造气流
DAG
、
对于其他上下文,这不是我的整个
DAG
。任务C和E使用ONE_FAILED的触发规则收敛到它们下游的另一个任务,但为了简单起见,我从示例中忽略了这一点。有什么想法可以得到预期的行为吗?
浏览 2
提问于2021-10-27
得票数 0
回答已采纳
1
回答
气流:从一个单独的文件创建
DAG
、
在气流中,我试图创建一个函数,用于在一个文件中生成
DAG
: with
DAG
( task_id="dynamic_dummy_task", )然后,在另一个文件中,我尝试从一个单独的文件导入dags: load_da
浏览 4
提问于2021-11-21
得票数 0
回答已采纳
1
回答
气流-
DAG
是如何启动的
有谁知道如何获得
DAG
启动的方式(无论是在调度程序上还是手动的)?我用的是气流2.1。谢谢!
浏览 0
提问于2021-09-08
得票数 0
回答已采纳
1
回答
我可以在cloud composer
DAG
中执行
python
脚本吗?
、
、
( cloud composer的第一次用户)我见过的所有示例都在
DAG
中定义了非常简单的
python
函数。 我有多个冗长的
python
脚本要运行。我可以将这些放入任务中吗?例如像这样的 default_
dag
-args ={} with models.
DAG
('jobname', schedule_interval = datetime.timedelta(days=1), default_args = default_
dag
_args) as
dag</e
浏览 17
提问于2021-07-24
得票数 2
回答已采纳
1
回答
读取yaml配置文件并在气流2.0中创建
DAG
生成器
、
、
、
我对气流2.0很陌生,我真的很难找到一种方法来远程保存我的
DAG
,而不是将它自动提交到调度程序中。我有一个配置文件,它为我的星火作业加载设置。我正在尝试编写一个实用程序
python
文件,它读取配置文件,解析它并创建一个
DAG
文件。我使用天文望远镜的create_
dag
示例完成了它,但是它直接提交了
DAG
,除了UI之外,我无法看到生成的
DAG
代码。 如何实现保存
DAG
文件并在以后提交?另外,我的实用程序是否可能有某种模板,其中包括我需要的操作符和params,以便远程
浏览 1
提问于2021-02-22
得票数 0
回答已采纳
2
回答
我可以使用TriggerDagRunOperator将一个参数传递给触发的进程吗?气流,气流
、
使用气流1.10.11 我可以看到,我可以使用UI和CLI ( )将参数发送到
dag
执行,但我可以使用TriggerDagRunOperator ( )来执行它吗?()。
浏览 6
提问于2021-03-05
得票数 6
回答已采纳
2
回答
气流API有效载荷作为
python
脚本的输入
、
、
我正在使用以下
python
脚本触发一个气流
DAG
:API调用:import json from airflow.operators.
python
_operator import PythonOperator from datet
浏览 1
提问于2021-07-28
得票数 2
回答已采纳
3
回答
如何使用AirFlow来运行
python
文件的文件夹?
、
我在
Python
文件的文件夹中有一系列
python
任务: file1.py,file2.py,... 我读了Airflow文档,但我不明白如何在
DAG
中指定
python
文件的文件夹和文件名?我想要执行那些
python
文件(而不是通过
Python
操作符执行
Python
函数)。
浏览 19
提问于2016-09-21
得票数 29
回答已采纳
1
回答
通过循环遍历列表并传递参数,在气流中创建任务
、
: task_id = name, op_args = [i],
dag
=
dag
)当在气流中运行时,传递的参数始终是该列表中的最后一个元素。
浏览 5
提问于2019-02-13
得票数 3
回答已采纳
1
回答
从另一个
DAG
生成
DAG
、
我想动态地从另一个
dag
中调用
DAG
,例如,当操作符将触发这个父
DAG
时,它应该会生成新的
DAG
。我看不出原因。=
DAG
("generated_
dag
", catchup=False
python
_callable=do_something,
dag
浏览 8
提问于2022-03-24
得票数 0
1
回答
Airflow -在函数内调用运算符
、
=
dag
)
python
_task = PythonOperator(task_id='<em
浏览 2
提问于2020-10-10
得票数 5
1
回答
哪里应该放置
python
脚本来运行它的气流达格?
、
我试图在气流中运行一个简单的
dag
来执行
python
文件,它正在抛出错误,无法打开文件‘/User/.’。from airflow.operators.
python
_operator import PythonOperator from datetime import=
DAG
(
dag
_id='DummyDag',default_args=default_args,catchup=False,sched
浏览 9
提问于2021-02-25
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
DAG共识机制
DAG技术浅探
区块链:DAG结构
DAG vs 区块链
XDAG:POW+DAG
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券