腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
文章
问答
(9999+)
视频
沙龙
4
回答
如
何在
Airflow
中
动态
创建
的
任务
之间
创建
依赖
关系
airflow
我正在使用下面的代码
创建
动态
任务
。我想在这些
动态
创建
的
任务
上
创建
依赖
关系
。例如,runStep_0应
依赖
于runStep_1等 for i in range(4): task_id='runstep_' + str(i)
浏览 100
提问于2016-10-04
得票数 2
回答已采纳
1
回答
气流按普通id或params分组
architecture
、
airflow
、
pipeline
在气流
中
,大多数管道由一组DAG组成,每个DAG包含紧密相关
的
任务
。气流是否有某种可以将DAG组合在一起
的
结构/对象?这样我们才能追踪整个输油管道
的
成败?
浏览 10
提问于2022-08-08
得票数 1
1
回答
如何使用python
创建
具有父级子
关系
的
数据链?
python
、
airflow
如果我有这组要转换
的
输入,输入:Task A -> Task CTask C -> Task E 利用熊猫蟒蛇:df = pd.DataFrameparent": ['Task A', 'Task A', 'Task B, 'Task C'], "child":["Task B", "Task C", 'Task D', &
浏览 6
提问于2022-05-13
得票数 0
1
回答
使用container -
airflow
隔离dag
中
的
代码
依赖
关系
python
、
airflow
我正在尝试使用apache-
airflow
,并且我想探索Docker来在容器
中
运行
任务
。我当前
的
airflow
安装在一个专用
的
virtualenv
中
,并且
airflow
会使用systemd自动重新启动。 我已经有多个项目想要在
Airflow
上进行。每个项目都应该有自己
的
dag。我希望用PythonOperator编写项目dag,并在docker容器
中
运行,其中包含我之前构建
的
具有所
浏览 30
提问于2020-05-07
得票数 1
5
回答
Airflow
:通过UI在
airflow
中
创建
DAG
airflow
、
airflow-scheduler
Airflow
老兵请帮帮忙 我正在寻找cron
的
替代品,偶然发现了apache
airflow
。 我们有一个设置,其中多个用户应该能够
创建
他们自己
的
DAG并计划他们
的
作业。我们
的
用户是可能不知道如何编写DAG python文件
的
混合用户。此外,他们可能无法访问运行
airflow
的
服务器。 是否可以通过UI
创建
气流DAG。我找不到任何与此相同
的
引用。所有示例都讲述了如何
创建<
浏览 155
提问于2018-02-26
得票数 21
回答已采纳
1
回答
气流-填充DagBag真的很慢
performance
、
airflow
、
pickle
、
directed-acyclic-graphs
我们正在探索使用Apache
Airflow
来取代当前ETL
的
orchestrator工具。我们目前
的
ETL有600多个不同
的
任务
,具有复杂
的
依赖
关系
。这些
任务
主要是对Informatica PowerCenter工作流
的
调用,但也有少量数据库过程和shell脚本 为了测试UI,我
创建
了一个包含600个
任务
的
DAG。我没有使用我
创建
的</
浏览 21
提问于2020-04-04
得票数 2
1
回答
在
airflow
中
设置多dag
依赖
airflow
dag C应该只在dag A和B
中
的
任务
完成后触发。有没有办法在
airflow
中
实现这一点?我可以使用Triggerdagrun运算符设置dag A和C
之间
的
依赖
关系
。但是,当我尝试设置dag B和C
之间
的
依赖
关系
时,当A或B完成时,C会被触发。有人能帮我解决这个问题吗?我理解说明可以使用外部
任务
传感器操作符。但它会不断轮询dag A和B
浏览 29
提问于2017-11-17
得票数 4
1
回答
在多个s3键上执行
Airflow
任务
,然后执行下一个
任务
airflow-scheduler
、
airflow
我们正在尝试将这些文件重命名为它们在第二个目录
中
对应
的
映射重命名文件名模式。我通过传递文件名
动态
地
创建
了
任务
id
的
唯一性。destination_key, dag=dag)) 然后,我再次需要对其执行另一个操作,最后将其移动到最终
的
s3现在,问题是第二个操作员/
任务
执行未被调用,没有错误,但气流日志显示“
任务
处于'remo
浏览 2
提问于2020-09-23
得票数 1
1
回答
如
何在
中
创建
任务
之间
的
依赖
关系
python
、
google-cloud-dataflow
、
apache-beam
、
dataflow
、
apache-beam-io
我是apache
的
新手,并探索apache数据流
的
python版本。我希望按一定顺序执行数据流
任务
,但它以并行模式执行所有
任务
。如
何在
中
创建
任务
依赖
关系
?示例代码:(在下面的代码
中
,sample.json文件包含5行)import logging
浏览 0
提问于2018-03-17
得票数 0
1
回答
气流
中
的
弹性伸缩
任务
airflow
我想使用
airflow
进行图像处理。 我有4个
任务
:图像预处理(A),边界框查找(B),分类(C),图像最终确定(D)。图表如下所示: A -> B1 -> C \ -> B3 -> C / -> Bn -> C / 图像预处理
任务
的
输出是边界框建议
的
列表,对于每个边界框,我运行分类,一旦所有分类
任务
结束,我就运行图像finalize。我希望所有的东西都是并行运行<em
浏览 16
提问于2019-05-06
得票数 0
1
回答
Airflow
:将BashOperartor作为字符串返回用于odbc连接
python
、
sql-server
、
airflow
我对
Airflow
和Python是个新手。我想要做
的
是从Bash命令
中
获取结果,并使用该返回组成连接字符串: import pyodbc as odbc import datetimeas dt from
airflow
.decorators import dag, task:4d}-{:02d}'.format(ano,
浏览 27
提问于2021-11-08
得票数 0
回答已采纳
3
回答
Airflow
:有没有办法在dag之外将操作员分组在一起?
python
、
airflow
、
google-cloud-composer
有没有办法设计一个在dag之外实现特定数据管道模式
的
python类,以便将这个类用于所有需要该模式
的
数据管道?然后尝试在Big Query中加载原始表
中
的
数据,然后根据加载结果将文件分派到存档或拒绝
的
文件夹
中
。 做一次很容易,如果需要做1000次呢?我正在试图弄清楚如何优化工程时间。
任务
组需要是dag
的
一部分才能实现https://github.com/apache/
airflow
/b
浏览 39
提问于2021-09-06
得票数 1
回答已采纳
1
回答
动态
创建
任务
列表
airflow
、
apache-airflow
我有一个DAG,它是通过查询DynamoDB
中
的
一个列表和列表
中
的
每个项来
创建
的
,这个
任务
是使用一个PythonOperator
创建
的
,并将它添加到DAG
中
。在下面的示例
中
没有显示,但是需要注意
的
是,列表
中
的
某些项
依赖
于其他
任务
,因此我使用set_upstream来强制执行
依赖
项。我认为这是因
浏览 3
提问于2017-07-15
得票数 2
回答已采纳
1
回答
理解Gradle项目
依赖
关系
,Gradle站点示例似乎不完整
java
、
gradle
、
build
我正试图理解Gradle构建
依赖
关系
,但在使用Gradle网站上
的
示例时遇到了困难,我想知道是否有人能提供帮助。在他们网站
的
部分
中
,有以下代码要保存在build.gradle
中
task taskX { doLast {
浏览 2
提问于2019-01-15
得票数 0
回答已采纳
1
回答
有没有办法使用Docker部署气流,但使用不同
的
工人?
docker
、
airflow
、
environment
、
worker
我有一个使用docker-compose
的
气流部署,正如官方气流文档(here)中所解释
的
那样。 我在问自己,是否有可能
创建
一个允许不同python环境执行不同
任务
的
设置。也就是说,假设我有一个项目1
的
管道,它与项目2
的
DAG有冲突
的
依赖
关系
。 有没有办法只
创建
两个不同
的
工人图像,并以某种方式告诉
Airflow
相应
的
任务
应该发送
浏览 15
提问于2021-07-10
得票数 2
回答已采纳
1
回答
如何使用自定义
依赖
项扩展已有的sbt
任务
?
scala
、
sbt
如何更改
依赖
于新
任务
的
现有核心
任务
?compile <<= (compile in Compile) dependsOn
浏览 0
提问于2015-06-26
得票数 2
2
回答
在气流
中
创建
DAG
的
可能性
airflow-scheduler
、
airflow
有没有一种方法可以从代码
动态
生成DAG文件并将其上传到
AirFlow
上(
AirFlow
从DAG目录读取,但为每个DAG
创建
文件并将其上传到该文件夹
的
速度很慢)?是否可以
创建
一个模板dag,并在需要时使用新逻辑填充它? 我看到他们正在开发API。当前版本只有一个触发器DAG选项。
浏览 3
提问于2020-02-25
得票数 0
1
回答
企业架构师:从类到其组件
的
聚合
关系
uml
、
relationship
、
enterprise-architect
在Sparx系统公司
的
Enterprise
中
,当一个组件
中
的
类与另一个组件
中
的
类建立
关系
时,这种
关系
是否也会影响源类和目标类
的
组件?换句话说,当您将组件放入图中时,它们
之间
的
关系
与内部类
之间
的
关系
相同吗?当然,目标是只有一个
关系
,所以当您删除两个类
之间
的
关系
浏览 1
提问于2014-12-29
得票数 0
回答已采纳
1
回答
依赖
图
的
反应执行
java
、
graph
、
reactive-programming
我需要
创建
一个服务(使用Java),它接受一个
任务
图并并行执行,同时考虑这些
任务
之间
的
依赖
关系
。一个-> CC -> FE、->、F 这将
创建
(可能
的
)并行执行组: A+B、C+D、E、F。如果
任务
执行不成功(返回错误),则不会执行
浏览 1
提问于2018-06-22
得票数 1
1
回答
用气流测试和DebugExecutor调试气流
任务
debugging
、
testing
、
airflow
我在我
的
IDE
中
寻找运行/调试
任务
和dags
的
最佳方法。我看到有两种方法可以这样做。我可以在调试模式下运行
airflow
test命令,用于特定
的
进程和可选
的
任务
。其他方法是使用DebugExecutor并运行特定
的
dag。我看到这两种方法都要求气流数据库已经启动并运行,并且所有池都配置好了(可能还需要队列)。我
的
问题是: 这两者
之间
的
主要区别是什么?
airflo
浏览 5
提问于2020-11-29
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
调度工具Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
为什么数据科学家不需要了解Kubernetes
基于DAG的分布式任务调度平台-Maat
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券