腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Airflow
DAG
中
生成
要
单独
处理
的
多个
任务
airflow
我
的
DAG
中有一些部分会
生成
列表,我不能将这些列表分解为
单独
的
任务
,以便在下游
单独
处理
。task_id='puller', provide_context=True ) xcom_push似乎只使用最后一个值,而不是
生成
列表因此,我必须将push
中
的
值加载到列表
中
,然后
在
pull中
浏览 16
提问于2019-02-26
得票数 1
1
回答
当从单个python源代码
生成
数百个
DAG
时,气流会减慢。
airflow
、
airflow-scheduler
、
google-cloud-composer
在
我们
的
大数据项目中,有3000个表需要加载,所有这些表都应该由气流
中
的
一个
单独
的
DAG
来
处理
。
在
我们
的
解决方案
中
,单个python文件
生成
每种类型
的
表加载器,因此它们可以通过基于事件
的
REST通过云函数
单独
触发。不幸
的
是,我们
的
版本是气流v1.x.x。我们已经注意到,当
生成
浏览 3
提问于2021-11-06
得票数 1
回答已采纳
5
回答
从不工作
的
终端触发气流
DAG
python
、
airflow
我正在尝试使用
airflow
来定义我想要从命令行手动触发
的
特定工作流。 "
DAG
_NAME", schedule_interval=None,default_args=args)
airflow
tr
浏览 2
提问于2016-05-05
得票数 24
1
回答
检索数据以构建和调度并行气流运算符
mongodb
、
directed-acyclic-graphs
、
airflow
我有一个
Airflow
应用程序,它为许多实体运行一个模型。 最初,该模型作为气流
DAG
的
三个阶段运行,其中每个阶段连续计算每个实体
的
属性。也就是说,第一阶段为大约200个实体
中
的
每个实体计算一些属性,下一阶段为这200个实体计算不同
的
属性,依此类推。每个阶段都是一个
单独
的
python操作符。实体标识和属性存储
在
MongoDB数据库
中
,每个实体使用
多个
集合。串行实现花费了大约12个小
浏览 15
提问于2021-09-24
得票数 0
2
回答
在
气流
中
创建
DAG
的
可能性
airflow-scheduler
、
airflow
有没有一种方法可以从代码动态
生成
DAG
文件并将其上传到
AirFlow
上(
AirFlow
从
DAG
目录读取,但为每个
DAG
创建文件并将其上传到该文件夹
的
速度很慢)?是否可以创建一个模板
dag
,并在需要时使用新逻辑填充它? 我看到他们正在开发API。当前版本只有一个触发器
DAG
选项。
浏览 3
提问于2020-02-25
得票数 0
1
回答
消息到达AWS SQS队列后触发
Airflow
DAG
amazon-web-services
、
airflow
、
amazon-sqs
是否可以
在
消息到达SQS队列时安排
DAG
运行?我还需要
dag
来
处理
队列
中
的
消息。据我所知,这可以通过使用SQSSensor来完成,但我找不到任何示例,我对如何前进感到困惑。
浏览 24
提问于2021-08-02
得票数 0
4
回答
有没有
在
Airflow
中
创建动态工作流
的
方法
python
、
airflow
所以我有一个
任务
A,它是将一些未知数量
的
文件复制到一个文件夹
中
。
任务
B
在
文件夹
中
的
每个文件上运行。我没有办法预先知道文件
的
数量,因为它们一直
在
变化。有没有办法让它在气流
中
工作。gcpBucket', mime_type='text/plain
浏览 3
提问于2018-09-11
得票数 2
2
回答
在
气流1.9
中
的
DAG
中将下游
任务
添加到没有下游
的
每个
任务
中
airflow
Problem:我一直
在
设法从没有后续
任务
的
DAG
中
获取
任务
。 --为什么我需要它--:我正在为
DAG
构建一个"on success“通知。气流DAGs有一个on_success_callback参数,但问题是,它是
在
每次
任务
成功之后触发
的
,而不仅仅是
DAG
。我看到其他人通过创建通知
任务
并将其附加到最后来
处理
这个问题。这种方法
的
问题是,
浏览 0
提问于2018-07-30
得票数 1
回答已采纳
1
回答
气流:
在
一个
DAG
文件中导入修饰
任务
与所有
任务
?
airflow
、
airflow-taskflow
我最近开始使用
Airflow
和它
的
一个新概念Taskflow API。我有一个包含
多个
修饰
任务
的
DAG
,每个
任务
都有50+代码行。因此,我决定将每个
任务
转移到一个
单独
的
文件
中
。
在
引用堆栈溢出之后,我可以以某种方式将
DAG
中
的
任务
移动到每个
任务
的
单独
文件<em
浏览 4
提问于2021-08-29
得票数 2
回答已采纳
1
回答
用气流测试和DebugExecutor调试气流
任务
debugging
、
testing
、
airflow
我
在
我
的
IDE
中
寻找运行/调试
任务
和dags
的
最佳方法。我看到有两种方法可以这样做。我可以
在
调试模式下运行
airflow
test命令,用于特定
的
进程和可选
的
任务
。其他方法是使用DebugExecutor并运行特定
的
dag
。我看到这两种方法都要求气流数据库已经启动并运行,并且所有池都配置好了(可能还需要队列)。我
的
问题是: 这两者之间
的
浏览 5
提问于2020-11-29
得票数 5
回答已采纳
1
回答
如何退出错误从脚本到气流?
airflow
说我
要
跑: task_id='import',
dag
=
dag
)from
airflow
浏览 2
提问于2018-09-16
得票数 0
回答已采纳
1
回答
气流
DAG
并行
任务
延迟/延迟执行60秒
airflow
、
airflow-scheduler
但是,我们已经观察到,
DAG
的
任务
正在提交并显示
在
AirFlow
仪表板上运行,但在实际执行发生之后,它们似乎会在队列
中
停留大约60秒。它观察到,对于任何文件,代码都会触发
AirFlow
DAG
。我们得到了大量
的
文件,因此在任何给定
的
实例
中
,我们都有相同
DAG
的
多个
实例被调用
的
场景,代码片段如下所示。
DAG
是被触
浏览 0
提问于2019-03-09
得票数 3
4
回答
如何在气流
中
单独
运行
任务
?
python
、
airflow
、
airflow-scheduler
我有一个
要
运行脚本
的
表
的
列表。当我一次执行一个表时,它成功地工作了,但是当我尝试在
任务
之上执行for循环时,它一次运行所有的表,这给了我
多个
错误。下面是我
的
代码: psql_port = 5432 descr
浏览 0
提问于2020-02-12
得票数 1
1
回答
Apache气流-
多个
部署环境
airflow
、
google-cloud-composer
在
处理
多个
环境(如Dev/Staging/Prod等)时,为每个环境设置
单独
(最好是相同
的
)气流实例将是最好
的
情况。我正在使用GCP管理
的
气流(),这不是很便宜
的
运行,有
多个
实例将大大增加我们
的
每月账单。 那么,我想知道是否有人建议使用单个气流实例来
处理
多个
环境?我正在考虑
的
一种方法是
在
我
的
dags fold
浏览 6
提问于2022-12-03
得票数 0
1
回答
使用插件导入
DAG
的
气流错误--只能在操作员之间设置关系。
airflow
、
google-cloud-composer
我编写了一个气流插件,它只包含一个自定义操作符(用于支持BigQuery
中
的
CMEK )。我可以用一个
任务
创建一个简单
的
DAG
,它使用这个操作符并执行得很好。但是,如果我尝试
在
DAG
中
创建一个依赖项,从一个DummyOperator
任务
到我
的
自定义操作符
任务
,
DAG
无法
在
UI中加载并抛出以下错误,我不知道为什么
要
抛出这个错误?中断
的</e
浏览 1
提问于2019-01-23
得票数 7
回答已采纳
2
回答
跨
多个
文件
的
气流分裂
DAG
定义
airflow
刚开始使用气流,想知道构建大型
DAG
的
最佳实践是什么。对于我们
的
ETL,我们有许多属于逻辑分组
的
任务
,但是组之间是相互依赖
的
。下列哪一项将被视为最佳做法?一个包含该文件中所有
任务
的
大型
DAG
文件 将
DAG
定义拆分为
多个
文件(如何做到这一点?)定义
多个
DAG
,每个
任务
组一个,并使用ExternalTaskSensor设置它们之间
的</e
浏览 1
提问于2017-01-05
得票数 15
回答已采纳
1
回答
如何在
dag
cloud composer中外部触发
任务
google-cloud-functions
、
airflow
、
google-cloud-pubsub
、
google-cloud-composer
我想要有一个基本上看起来像这样
的
数据管道 ?
在
多个
任务
由相应
的
pubsub消息触发
的
情况下,
处理
来自pubsub消息输入
的
数据,最后一个
任务
仅在所有这些工作流完成时触发。我设法使用PubSub触发整个
DAG
(在此guide之后对PubSub进行了修改),但它触发整个
DAG
,而不是单个
任务
。有没有办法从外部(从Cloud Function/PubSub)触发<e
浏览 21
提问于2021-03-23
得票数 1
回答已采纳
2
回答
如何管理
Airflow
中
的
Python依赖?
airflow
、
google-cloud-composer
在
我
的
本地机器上,我创建了一个虚拟环境并安装了
Airflow
。当
dag
或plugin需要python库时,我会通过pip将其安装到相同
的
virtualenv
中
。如何跟踪哪些库属于
dag
,哪些库用于
airflow
本身?我最近删除了一个
dag
,并想移除它正在使用
的
库。这相当耗时,我祈祷我没有删除正在被另一个
dag
使用
的
东西!
浏览 5
提问于2019-07-04
得票数 9
1
回答
如何在单元测试
中
测试气流?
python
、
unit-testing
、
pytest
、
airflow
我试图
在
测试环境中使用
多个
任务
来测试一个守护进程。我能够测试与
dag
关联
的
单个
任务
,但我希望
在
dag
中
创建
多个
任务
,并启动第一个
任务
。用于测试我正在使用
的
dag
中
的
一个
任务
。但是,当我在后台
的
下游有一个接一个
的
任务
时,同样
的</em
浏览 0
提问于2018-04-24
得票数 13
1
回答
Airflow
Scheduler为同一
dag
创建PID以每次
生成
任务
python
、
airflow
、
airflow-scheduler
我有一种情况,我为每个请求id
生成
了唯一
的
dags,例如1.py,2.py。 1.py假设有两个
任务
,2.py有3个
任务
。我也会定期收到更多
的
dags,比如3.py,4.py等。Started a process (PID: 92186) to generate tasks for /Users/nshar141/
airflow
/dags/3.py - logging into/Users/nshar141/
浏览 1
提问于2018-05-08
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
没看过这篇文章,别说你会用Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
airflow 实战系列:基于 python 的调度和监控工作流的平台
数据作业自动化调度 AirFlow
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券