腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
函数
返回
应在
Airflow
中
按
顺序
运行
的
任务
列表
airflow
、
google-cloud-composer
我想从一个
函数
返回
2个或更多
的
任务
,这些
任务
应该在依赖项
中
插入
的
位置
按
顺序
运行
,请参见下面的内容。据我所知,
Airflow
2.0似乎通过TaskGroup实现了这一点,但我们使用
的
是谷歌
的
Composer,2.0暂时不会推出。return [t2, t3] t1 >> tasks[0] >&g
浏览 18
提问于2021-01-21
得票数 2
2
回答
为什么
airflow
返回
两个不同
的
DAG
列表
?
airflow
如果我
运行
命令
airflow
list_dags,它将
返回
一个DAG
列表
。但是,DAG
列表
与我在web界面
中
DAG选项卡下看到
的
DAG
列表
不同。
airflow
list_dags命令仅
返回
教程DAGs,而不
返回
airflow
/dags目录
中
的
DAGs。 为什么
airflow
为我提供了两个不同
的
DAG<
浏览 0
提问于2017-08-01
得票数 2
1
回答
如何从不同
的
dags
中
获取所有失败
任务
的
列表
airflow
、
airflow-scheduler
我们有以下命令,我们可以清除失败
的
任务
并在一次尝试
中
重新
运行
它们。
airflow
clear [-s START_DATE] [-e END_DATE] --only_failed dag_id 有没有方法可以
从
所有dags
中
获取所有失败
任务
的
信息并将其导出到文件(excel或text)
中
?
浏览 2
提问于2020-08-15
得票数 4
1
回答
口气不太好
javascript
、
gulp
、
wiredep
、
gulp-inject
我
的
任务
是: - copy bower resources (css, js and fonts) to /dest/vendormy js to /dest/js (just copy, no process) 如果我
运行
gulp build,然后
运行
gulp html,一切
浏览 2
提问于2015-03-09
得票数 1
回答已采纳
2
回答
使用
Airflow
UI执行整个DAG
python
、
airflow
我是新手,我们有一个有3个
任务
的
DAG。目前我们正在使用Celery Executor,因为我们需要灵活地
运行
单个
任务
。我们不想安排工作流,现在它将是手动触发
的
。有没有办法使用
Airflow
UI (和我们在oozie中一样)来执行整个工作流程? 一次执行一个
任务
是一件痛苦
的
事情。
浏览 3
提问于2016-09-28
得票数 6
2
回答
如何在非气流运算符python
函数
中
访问Xcom值
airflow
我有一个存储
的
XCom值,我想传递给另一个python
函数
,它不是使用PythonOperator调用
的
。},) sql_file_template() 存储
的
proc
的
输出是使用xcom捕获
的
字符串。现在,我想在不使用sql_file_template
的
情况下将这个值传递给某些python
函数
PythonOpera
浏览 5
提问于2020-08-28
得票数 2
2
回答
在命令行
中
测试气流数据
airflow
从
的
气流手册
中
,我发现我可以
运行
以下操作来测试特定
的
任务
:当我这么做
的
时候,我只收到了这样
的
信息:[2018-07-10 18:29:54,513] {models.py:189} INFO - Filling up the DagBag from /var/lib
浏览 0
提问于2018-07-10
得票数 3
回答已采纳
1
回答
在气流2.2.5
中
动态生成
的
任务
被移动到“删除”状态,并分解甘特图
python-3.x
、
airflow
、
google-cloud-composer
、
airflow-2.x
Airflow
Version : 2.2.5我们有一个
任务
组,它使用for循环动态地创建
任务
。在
任务
组
中
,我们使用BigQueryTableDeleteOperator删除表。在
任务
运行
之前:图1
任务
运行
后:图2如上所述,在
任务
组
运行
之前,它将显示每个
任务
表示
的
要删除
的</em
浏览 3
提问于2022-08-29
得票数 1
回答已采纳
1
回答
气流- depends_on_past和trigger_rule是一样
的
吗?
airflow
、
apache-airflow
在
airflow
.models.BaseOperator
中
。您有两个默认参数:根据医生
浏览 2
提问于2017-12-25
得票数 4
回答已采纳
1
回答
Airflow
DAG
任务
在我
运行
DAG时不
运行
,尽管
任务
在测试时工作正常
airflow
、
amazon-ecs
DAG,每个
任务
对应于我
的
颜色
列表
中
的
每种颜色。: data-push-for-bluedata-push-for-yellow 然后,我通过在终端
中
输入以下内容来测试
运行
我
的
一个
任务
:
airflow
run现在,当我尝试
从
Airflow
UI
运行
DAG数据推送时,我遇到了一个问题。但绿色圆圈在那里停留了很长时间,当我手动检
浏览 49
提问于2020-08-02
得票数 1
回答已采纳
1
回答
在graphql/继电器
中
维护有序
列表
reactjs
、
graphql
、
relayjs
我想
按
特定
的
顺序
显示
任务
列表
。问题是,用户应该能够更改
顺序
并将其保存到graphql (用户还可以
从
列表
中
添加和删除
任务
)。目前,我们已经将
列表
作为中继连接来实现,add/delete/update正在正常工作。以下是我们现在正在考虑
的
问题: “使graphql
返回
有序
列表
”。然后将该
列表
复制到组件<em
浏览 3
提问于2016-12-28
得票数 4
3
回答
在气流
中
创建动态池
airflow
我有一个DAG,它创建一个集群,开始计算
任务
,并在它们完成后,拆除集群。我希望将该集群上执行
的
计算
任务
的
并发性限制为固定数量。因此,
从
逻辑上讲,我需要一个由
任务
创建
的
集群独占
的
池。我不希望干扰其他DAG或同一DAG
的
不同
运行
。 我想我可以通过在集群创建后
从
任务
动态创建一个池,并在计算
任务
完成后删除它来解决这个问题。我想我可以将计算
任务
的<
浏览 0
提问于2018-09-20
得票数 2
1
回答
在
airflow
中
,是否可以在多个工作节点上
运行
单个
任务
,即以分布式方式
运行
任务
kubernetes
、
celery
、
airflow
我正在使用spring batch创建批处理作业
的
工作流。单个批处理作业需要2小时才能完成(要处理
的
数据约为100万),因此决定以分布式方式
运行
,其中一个
任务
将分布在多个工作节点上,这样它就可以在较短
的
时间内执行。工作流
中
的
其他作业(都是分布式
的
)需要一个接一个地
按
顺序
运行
。作业是多节点分布式作业(主/
从
架构),需要一个接一个地
运行
。 现在,我正在考虑在
浏览 88
提问于2021-11-23
得票数 0
回答已采纳
5
回答
从不工作
的
终端触发气流DAG
python
、
airflow
我正在尝试使用
airflow
来定义我想要从命令行手动触发
的
特定工作流。 "DAG_NAME", schedule_interval=None,default_args=args)
airflow
trigger_dag DAG_NAME 什么都不会发生。调度程序正在另一个
浏览 2
提问于2016-05-05
得票数 24
2
回答
跨多个文件
的
气流分裂DAG定义
airflow
刚开始使用气流,想知道构建大型DAG
的
最佳实践是什么。对于我们
的
ETL,我们有许多属于逻辑分组
的
任务
,但是组之间是相互依赖
的
。下列哪一项将被视为最佳做法?一个包含该文件中所有
任务
的
大型DAG文件 也愿意听取其他建议。
浏览 1
提问于2017-01-05
得票数 15
回答已采纳
1
回答
在气流
中
以随机
顺序
运行
任务
airflow
、
airflow-scheduler
目前,我有一个
任务
列表
,所有的
任务
都需要在同一时间每天
运行
,但它们都是相互独立
的
。我知道我可以设置它们按照一定
的
顺序
运行
,即t1 >> t2 >> t3,但是我希望
顺序
是随机
的
,所以它们完成
的
顺序
并不总是相同
的
。如何以随机
顺序
运行
气流
任务
列表
?
浏览 1
提问于2020-05-08
得票数 0
回答已采纳
2
回答
从
XCOM创建动态
任务
python
、
airflow
我试图
从
XCOM变量生成一组动态
任务
。在XCOM
中
,我存储一个
列表
,我希望使用
列表
中
的
每个元素动态地创建一个下游
任务
。我
的
用例是,我有一个上游操作符,它检查sftp服务器上
的
文件,并
返回
符合特定条件
的
文件名
列表
。我希望为
返回
的
每个文件名创建动态下游
任务
。我把它简化到下面,当它工作
的
时候,我觉得
浏览 0
提问于2019-04-14
得票数 14
回答已采纳
1
回答
将数组位置
中
的
字符串转换为位置,并
返回
python
中
的
顺序
python
我一直在处理
列表
和arrays.In这个
任务
,我需要
返回
(
按
顺序
)句子,但不是
按
顺序
返回
句子,而是
按
顺序
返回
单词所在
的
位置,所以这是我当前
的
代码:sentence = sentence.upper() sentence = sentence.s
浏览 1
提问于2017-02-18
得票数 0
1
回答
spring 3调度:
任务
集合?
spring
、
spring-3
是否可以
返回
任务
列表
(Runnable?)到spring,那么spring会
按
顺序
执行它们,而不管每个项目抛出
的
异常吗?我希望spring
按
顺序
调用10个
任务
: 1、2、3等等,如果发生则简单地记录异常。 看起来@Async可能会有帮助,但是我如何
从
XML配置它呢?
浏览 0
提问于2012-08-01
得票数 0
2
回答
Apache
Airflow
最佳实践:(Python)运算符或BashOperators
airflow
、
apache-airflow
这些天,我正在做一个新
的
ETL项目,我想尝试一下作为工作经理
的
Airflow
。我和我
的
同事都是第一次使用
Airflow
,我们采用了两种不同
的
方法:我决定编写python
函数
(类似apache-
airflow
项目中
的
运算符),而我
的
同事使用
airflow
通过BashOperator我想知道是否有类似“良好实践”
的
东西,这两种方法是否一样好,或者我应该考虑一种而不是另一种。对我来说,主
浏览 2
提问于2017-11-28
得票数 13
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
【Python】基础语法
asyncio 不完全指北(三)
Java 中有Iterator,为什么还需要Spliterator
Python异步实战:异步爬取网站之简单使用教程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券