腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
气流-填充DagBag真的很慢
performance
、
airflow
、
pickle
、
directed-acyclic-graphs
我们正在探索使用Apache
Airflow
来取代当前ETL的orchestrator工具。我们目前的ETL有600多个不同的任务,具有复杂的
依赖
关系
。然后,我设置
依赖
项以匹配当前的ETL。有超过2000个
依赖
关系
,但我将测试限制为大约1400个
依赖
关系
。import
airflow
from
airflow
.operators.ba
浏览 21
提问于2020-04-04
得票数 2
5
回答
Airflow
:通过UI在
airflow
中创建
DAG
airflow
、
airflow-scheduler
Airflow
老兵请帮帮忙 我正在寻找cron的替代品,偶然发现了apache
airflow
。 我们有一个设置,其中多个用户应该能够创建他们自己的
DAG
并计划他们的作业。我们的用户是可能不知道如何编写
DAG
python文件的混合用户。此外,他们可能无法访问运行
airflow
的服务器。 是否可以通过UI创建气流
DAG
。我找不到任何与此相同的引用。所有示例都讲述了如何创建一个python文件并将其上传到$
AIRFLOW
_HOME/
dag
浏览 155
提问于2018-02-26
得票数 21
回答已采纳
2
回答
如何管理
Airflow
中的Python
依赖
?
airflow
、
google-cloud-composer
在我的本地机器上,我创建了一个虚拟环境并安装了
Airflow
。当
dag
或plugin需要python库时,我会通过pip将其安装到相同的virtualenv中。如何跟踪哪些库属于
dag
,哪些库用于
airflow
本身?我最近删除了一个
dag
,并想移除它正在使用的库。这相当耗时,我祈祷我没有删除正在被另一个
dag
使用的东西!
浏览 5
提问于2019-07-04
得票数 9
1
回答
使用container -
airflow
隔离
dag
中的代码
依赖
关系
python
、
airflow
我正在尝试使用apache-
airflow
,并且我想探索Docker来在容器中运行任务。我当前的
airflow
安装在一个专用的virtualenv中,并且
airflow
会使用systemd自动重新启动。这可以保证每个项目之间的代码
依赖
关系</e
浏览 30
提问于2020-05-07
得票数 1
1
回答
Airflow
dag
依赖
关系
airflow
我有一个运行大约一周的
airflow
dag
-1和一个每天运行几个小时的
dag
-2。当
dag
-1正在运行时,由于API限制速率,我不能让
dag
-2运行(另外,
dag
-2应该在
dag
-1完成后运行)。假设
dag
-1已经在运行,而应该每天运行的
dag
-2出现故障,我是否可以以正确的方式安排
dag
依赖
关系
?是否可以在
dag
-2应该启动时暂时停止
dag
-
浏览 16
提问于2021-01-25
得票数 1
1
回答
Apache
Airflow
持续集成工作流和
依赖
项管理
python
、
airflow
我正在考虑开始在一个项目中使用Apache
airflow
,并且想知道人们如何管理与
Airflow
的持续集成和
依赖
。更具体地说,我有以下设置我有两个python
DAG
,我想把它们的源代码放在不同的仓库中。每个python代码库具有不同的
依赖
性,例如,
Dag
2使用Python3.6
浏览 6
提问于2017-07-10
得票数 6
1
回答
气流按普通id或params分组
architecture
、
airflow
、
pipeline
在气流中,大多数管道由一组
DAG
组成,每个
DAG
包含紧密相关的任务。气流是否有某种可以将
DAG
组合在一起的结构/对象?这样我们才能追踪整个输油管道的成败?
浏览 10
提问于2022-08-08
得票数 1
2
回答
如何在不跳过下游任务的情况下跳过
airflow
中的任务?
airflow-scheduler
、
directed-acyclic-graphs
、
airflow
假设这是我的
dag
: A >> B >> C 如果任务B引发异常,我希望跳过该任务,而不是使其失败。但是,我不想跳过任务C。
浏览 116
提问于2021-04-24
得票数 1
1
回答
云编写器上的气流不能导入模块
python
、
airflow
、
google-cloud-composer
在我看来,这似乎表明Composer无法从dependencies/中的子目录导入,当我查看它们的
依赖
关系
文档时,它们给出的只比/dags低一个目录级别(并且只是一个文件而不是完整的python包)。我还尝试从我的__init__.py文件中导入所有东西,这会给我带来相同的属性错误,并将我的
依赖
关系
提升到gcs-bucket/中,在那里似乎根本找不到它们。当我用
DAG
打印出__file__时,我得到/home/
airflow
/g
浏览 4
提问于2020-05-06
得票数 5
1
回答
在
airflow
中设置多
dag
依赖
airflow
我有3个
Dag
A,B和C。
dag
C应该只在
dag
A和B中的任务完成后触发。有没有办法在
airflow
中实现这一点?我可以使用Triggerdagrun运算符设置
dag
A和C之间的
依赖
关系
。但是,当我尝试设置
dag
B和C之间的
依赖
关系
时,当A或B完成时,C会被触发。有人能帮我解决这个问题吗?我理解说明可以使用外部任务传感器操作符。但它会不断轮询
dag
A和B中的任务是否完成,这可能会在一段时
浏览 29
提问于2017-11-17
得票数 4
1
回答
Python中DAGs的并行实时调度
python
、
parallel-processing
、
tmux
、
directed-acyclic-graphs
、
airflow
如何为多个类别并行运行/实例化
Dag
(气流) ?例如:我有一个气流(
dag
),它是我定期运行的,我如何在不同的Batchname(Parallet)上调度
dag
并行运行: 我使用环境变量传递Batchname,然后使用服务器上的多个tmux会话并行运行
dag
,但它被搞砸了。 有什么更好的方法可供我使用,并且可以节省时间并并行地运行多个批名称的<
浏览 0
提问于2016-11-28
得票数 1
2
回答
在单元测试中测试气流1.9的
Dag
运行
airflow
我已经实现了运行单个
dag
的测试用例,但它似乎在1.9中不起作用,可能是因为在
airflow
1.8中引入了更严格的池。我试着运行下面的测试用例:from
airflow
.operators.dummy_operator import DummyOperator
dag
=
DAG
('test_
dag
', description='a
浏览 1
提问于2018-06-26
得票数 3
1
回答
在python中执行定义为
DAG
的任务的简单方法?
python
、
flask
、
airflow
、
google-cloud-run
、
directed-acyclic-graphs
我正在以一种复杂的方式运行一系列相互
依赖
的任务。我想将这些
依赖
关系
描述为
DAG
(有向无环图),并在需要时执行该图。我一直在关注
airflow
,并写了一个虚拟脚本: from datetime import datetime from
airflow
.operators.python(
dag
_id="my_id", schedule_interval=None, s
浏览 64
提问于2021-10-16
得票数 0
2
回答
不能使用JdbcOperator气流
airflow
、
airflow-scheduler
我的代码如下:from datetime import timedelta from
airflow
.models import
DAG
'owner': '
Airflow
=
DAG
(
dag
_id=&
浏览 0
提问于2020-03-24
得票数 0
1
回答
什么时候使用任务而不是
DAG
?
airflow
我正在努力理解任务和
DAG
之间的区别,以及何时使用一个而不是另一个。我知道任务更细粒度,并在
DAG
中调用,但太多的
Airflow
文档提到在旅途中创建
DAG
或调用其他
DAG
而不是任务。
浏览 24
提问于2021-08-11
得票数 0
1
回答
MWAA气流2.2.2 '
DAG
‘对象没有属性'update_relative’
python
、
amazon-web-services
、
airflow
、
mwaa
、
snowflake-connector
DAG
在以前的设置上运行良好,但在MWAA设置上显示了此错误: File "/usr/local/lib/python3.7/site-packages/
airflow
/models/b
浏览 45
提问于2022-02-22
得票数 5
回答已采纳
2
回答
如何在气流中重启
DAG
?
airflow
、
airflow-scheduler
我的其中一个
DAG
有许多步骤,但由于数据库关闭而中途停止。我想让
DAG
从它停止的地方开始,但我所能做的就是一个接一个地开始
DAG
的各个任务。有没有一种方法可以根据已经完成的任务的成功情况告诉
Airflow
从它停止的地方开始
DAG
?以下是一个示例,其中第一个任务之一已完成,其余任务已排队或没有状态: 当我单击单个任务(runme_1)时,我可以重新启动它: 但是,如果我尝试启动一个尚未满足
依赖
关系
的任务(例如run_after_loop),我会看到以下错误消息
浏览 1
提问于2018-02-15
得票数 7
回答已采纳
1
回答
有没有办法使用Docker部署气流,但使用不同的工人?
docker
、
airflow
、
environment
、
worker
也就是说,假设我有一个项目1的管道,它与项目2的
DAG
有冲突的
依赖
关系
。 有没有办法只创建两个不同的工人图像,并以某种方式告诉
Airflow
相应的任务应该发送到哪个工人容器? 谢谢!
浏览 15
提问于2021-07-10
得票数 2
回答已采纳
1
回答
>>操作符如何定义气流中的任务
依赖
关系
?
python
、
operators
、
airflow
、
bit-shift
我正在阅读
Airflow
教程,并遇到了定义任务
依赖
关系
的本节。with
DAG
('
airflow
_tutorial_v01', schedule_interval='0 * * * *',) as
dag
:
浏览 0
提问于2018-09-18
得票数 38
回答已采纳
1
回答
ZenML
Dag
未显示在
Airflow
UI中
airflow
、
zenml
我正在试用ZenML,它说它可以将我的.py管道转换为气流
DAG
。我遵循了这里的每一步:https://docs.zenml.io/guides/low-level-api/chapter-7,都成功了 我的管道在本地运行良好,但是为什么看不到在
airflow
UI上创建的
DAG
?有人知道如何让ZenML通过
airflow
成功运行我的代码吗?pipeline_config) -> Output()
浏览 68
提问于2021-11-14
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
调度工具Airflow
airflow 实战系列:基于 python 的调度和监控工作流的平台
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
Vite2.0 依赖关系预捆绑
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券