腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Airflow
:
重新
运行
DAG
无法
从
上次
运行
中
加载
XCOM
airflow
有没有办法在
DAG
步骤的
重新
运行
期间(在清除状态之后)保持
XCOM
值? 下面是我试图完成的简化版本,即当
DAG
步骤状态被清除并
重新
运行
该步骤时,我希望能够
加载
在上一次
运行
中
推送的
XCOM
值。但是,即使我可以在
XCOM
接口中看到该值,也
无法
提取该值。我查看了pull_
xcom
()方法的源代码,但不知道它在哪里被过滤掉了。 我试图实现的功能是在<em
浏览 14
提问于2020-05-03
得票数 1
回答已采纳
5
回答
如何在
DAG
完成其在气流
中
的
运行
时删除
XCOM
对象
airflow
、
apache-airflow
、
airflow-scheduler
我在
XCOM
中有一个巨大的json文件,稍后我不需要在进程执行完成之后,但是我仍然可以在UI中看到
Xcom
对象和所有数据,在完成
dag
运行
后,是否有任何方法以编程方式删除
XCOM
。 谢谢
浏览 2
提问于2017-10-12
得票数 18
回答已采纳
1
回答
由气流制造的库伯奈特吊舱仍处于
运行
状态。
kubernetes
、
google-cloud-platform
、
airflow
我已经在库伯奈特星系团
中
建立了气流。要
运行
任务,我使用的是KubernetesPodOperator。当我
运行
一个任务并查看kubectl get pods时,我看到一个pod被正确创建,并且它也完成了。然而,当我看到气流,我看到状态没有更新,它说它仍然在
运行
状态。20T00:00:00+00:00 [2019-01-27 12:43:56,581] {base_task_runner.py:118} INFO - Running: ['bash', '-c', '
浏览 2
提问于2019-01-27
得票数 7
1
回答
气流
DAG
正在
运行
,但任务没有执行。
python
、
task
、
command-line-interface
、
airflow
、
directed-acyclic-graphs
我使用的气流1.10.2叉
从
流行的和使用CLI操作它读取。我已经创建了一个
DAG
,当我通过UI触发它时,它将被成功地执行。对于下面图像的引用,
DAG
的ID是
xcom
_4_modules_ver_5 在通过调度的进程
运行
DAG
并通过UI手动触发之后,我在CLI上执行
airflow
list_
dag
_runs
xcom
_4_modules_ver但是,在执行命令
airflow
trigger_
dag
-
浏览 1
提问于2019-04-15
得票数 8
1
回答
Airflow
:
从
DAG
中
拉出
XCom
与未来的开始日期?
airflow
在
Airflow
中
,我们使用xcoms来表示一个
DAG
已经完成,另一个可以开始
运行
。例如,
DAG
1在上午12点
运行
,并在完成时发送
xcom
。
DAG
2
从
DAG
1读取
xcom
。使用这种方法的一个限制是,根据文档,
xcom
只能从执行日期较早的
DAG
中
读取,但不能从未来执行日期的
DAG
中
读取。https:
浏览 19
提问于2020-06-11
得票数 0
2
回答
如何将
Xcom
中
的值传递给另一个运算符?
airflow
dag
=
dag
) to='user@example.com',
浏览 3
提问于2019-11-20
得票数 2
2
回答
如何在非气流运算符python函数
中
访问
Xcom
值
airflow
我有一个存储的
XCom
值,我想传递给另一个python函数,它不是使用PythonOperator调用的。def sql_file_template(): },
dag
=
dag</e
浏览 5
提问于2020-08-28
得票数 2
2
回答
Xcom
表
database
、
postgresql
、
docker
、
airflow
、
devops
在气流
中
清洁
xcom
表的最佳方法是什么?它
运行
在postgres db的码头上。我尝试用查询(
从
xcom
删除)删除一些数据,并尝试
运行
以下引用:,但是它不工作,
xcom
表的大小仍然没有减少 与本例相关,它占用了我的主机服务器上的大量存储空间。
浏览 32
提问于2022-04-25
得票数 0
回答已采纳
1
回答
如何导出持久环境变量
python
、
airflow
具体地说,它是一个自定义的SnowflakeHook,我想在其中检查一个预设(在docker-compose文件
中
)环境变量是否有一个特定值,如果有,在做一些事情后导出另一个环境变量。
浏览 7
提问于2021-10-04
得票数 1
回答已采纳
1
回答
检索数据以构建和调度并行气流运算符
mongodb
、
directed-acyclic-graphs
、
airflow
我有一个
Airflow
应用程序,它为许多实体
运行
一个模型。 最初,该模型作为气流
DAG
的三个阶段
运行
,其中每个阶段连续计算每个实体的属性。我能够通过向
DAG
添加单个MongoDB查询来
重新
构建应用程序,以检索实体I并计划三个阶段的大约200个“链”。这使我可以将执行时间减少到2.5小时。我想进一步并行化,通过按日期范围将每个实体
运行
到几个子实体
中
。但是,当我尝试遍历大约200个实体并查询每个实体的日期范围时,
DAG
无法</em
浏览 15
提问于2021-09-24
得票数 0
1
回答
消息到达AWS SQS队列后触发
Airflow
DAG
amazon-web-services
、
airflow
、
amazon-sqs
是否可以在消息到达SQS队列时安排
DAG
运行
?我还需要
dag
来处理队列
中
的消息。据我所知,这可以通过使用SQSSensor来完成,但我找不到任何示例,我对如何前进感到困惑。
浏览 24
提问于2021-08-02
得票数 0
1
回答
Airflow
Composer删除特定的
xcom
键
airflow
、
google-cloud-composer
我正在通过
Airflow
并行编排多个数据流作业。流水线执行
中
的任务之一是推送唯一的
xcom
键来存储每个流水线的临时值,该临时值用于向Bigquery表
中
插入一个值。数据
加载
完成后,我需要清除特定的
xcom
密钥。我不想删除仍在并行
运行
的其他数据流作业可能生成的其他
xcom
键。它们是清除特定
xcom
密钥的方法吗?
浏览 3
提问于2021-09-05
得票数 0
1
回答
从
BashOperator到SSHOperator的
Airflow
XCOM
通信
python
、
airflow
、
airflow-2.x
我刚开始学习
Airflow
,但是很难掌握
Xcom
的概念。因此我写了这样一个
dag
:from
airflow
.utils.edgemodifier import Label Read_my_IP >> Label("PI's IP address") >> Read_r
浏览 14
提问于2021-06-11
得票数 2
回答已采纳
1
回答
在S3ToSnowflakeOperatorof气流
中
访问
Xcom
jinja2
、
airflow
、
snowflake-cloud-data-platform
然后,我将使用Python操作符提取键值,并将其存储在
xcom
变量
中
。然后,我希望在S3ToSnowflakeOperator中提取这个
xcom
值,并实质上将该文件
加载
到雪花表
中
。流程的所有部分都是工作栏,在S3ToSnowflakeOperator任务中提取
xcom
值。我的日志
中
基本上有以下内容。查询:
从
@MYSTAGE_.SOURCE_PARAMS_JSON_DEMO/files=复制到“原始”ti.
xcom
({ti.<
浏览 1
提问于2022-03-29
得票数 1
1
回答
气流动态任务返回列表而不是字典
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
、
airflow-2.x
当recon_rule_setup任务
运行
时,每次它都从以前的read_recon_config任务获得字典(recon_conf)作为输入。但是,当recon_rule_exec
运行
时,它将从以前的任务
中
获得列表作为输入(recon_rule)。我的期望是,根据返回值,recon_rule_setup应该
运行
2次,recon_rule_exec应该
运行
4次。from
airflow
.models
浏览 5
提问于2022-11-03
得票数 0
2
回答
KubernetesPodOperator -
运行
从
XCOM
拉出的整个命令
python
、
kubernetes
、
airflow
我正在做
Airflow
1.10。 我在KubernetesPodOperator上
运行
命令时遇到了问题,在
DAG
运行
时会对整个命令进行评估。正如我
从
文档
中
读到的,KubernetesPodOperator需要字符串列表或jinja模板列表: :param arguments: arguments of the entrypoint.我有PythonOperator,它生成命令并将其推送到
XCOM
和KubernetesPodOperator,在这两个命令的参数<
浏览 65
提问于2021-08-06
得票数 0
回答已采纳
2
回答
如何在
Airflow
中
创建
DAG
,显示Docker容器的使用情况?
docker
、
containers
、
airflow
我目前使用的是
Airflow
(版本: 1.10.10), 我对创建
DAG
很感兴趣,它将每小时
运行
一次, 这将带来Docker容器的使用信息(磁盘使用), (可通过docker CLI命令( df -我的理解是:“如果
xcom
_push为真,那么当bash命令完成时,写入标准输出的最后一行也将被推送到
XCom
。” 但我的目标是
从
bash命令
中
获得一个特定值,而不是最后编写的一行。例如,我想得到这一行(参见screeeshot) "tmpfs 6.2G 0 6.
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
13
回答
Airflow
:如何删除
DAG
?
airflow
我已经启动了
Airflow
网络服务器并安排了一些dags。我可以在web GUI上看到dags。 如何删除正在
运行
并在web GUI
中
显示的特定
DAG
?是否有
Airflow
CLI命令来执行此操作?我环顾四周,但找不到一个简单的方法来删除一个
DAG
,一旦它已经
加载
和调度。
浏览 360
提问于2016-11-17
得票数 83
回答已采纳
1
回答
如何在
运行
后删除所有
Xcom
?
python-3.x
、
airflow
我对气流有点陌生,在
运行
一段时间后,我似乎
无法
找到一种删除所有
Xcom
的方法。我找到了bash命令
airflow
清除,但是这个已删除的任务实例也被删除了,我只想清除
Xcom
。欢迎任何帮助。谢谢!更新: task_id="clear_
Xcom
", sql="d
浏览 2
提问于2020-06-24
得票数 0
1
回答
DockerOperator存取气流变量
python-3.x
、
postgresql
、
docker-compose
、
airflow
、
dockeroperator
我安装了气流,使用对接-合成和
运行
db init命令。我正在尝试创建一个使用DockerOperator执行某些脚本的
DAG
。在我的DockerOperator
中
,脚本试图读取气流变量并使用BaseHook获取连接。from
airflow
.decorators import taskfrom
airflow
.models.param import_
dag
_id session.
浏览 6
提问于2022-06-02
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
airflow 实战系列:基于 python 的调度和监控工作流的平台
AWS推出Apache Airflow全托管工作流MWAA
调度工具Airflow
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券