腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
未能从气流舱- Kubernetes pod操作符中提取
xcom
python
、
kubernetes
、
airflow
在运行DAG时,DAG使用码头映像运行jar, [2018-11-27 11:37:21,605] {{logging_mixin.py:95}} INFO - [2018-
浏览 1
提问于2018-11-27
得票数 5
回答已采纳
2
回答
动态气流EMR连接
python
、
airflow
我有一个气流DAG,它
创建
一个EMR集群,然后在该集群上运行SSHOperator
任务
。现在,我正在把EMR集群的主公共DNS硬编码成一个气流SSH连接。在
创建
EMR集群时,我的DAG是否可以动态填充这个DNS,这样我就不必手动更新连接了吗?
浏览 0
提问于2019-05-02
得票数 2
回答已采纳
1
回答
从
xcom
airflow
任务
实例
数据
创建
json
python-3.x
、
airflow
我在气流dag中有两项
任务
。第一个
任务
命中POST URL,它的结果成为第二个
任务
的参数。我可以点击第一个URL并将其发送到另一个
任务
。问题是,我无法
从
第二个
json
中
创建
正确的
json
。('some url') ti = kwargs['ti'] v1 = ti.
xcom
_
浏览 41
提问于2020-07-24
得票数 0
2
回答
如何在非气流运算符python函数中访问
Xcom
值
airflow
我有一个存储的
XCom
值,我想传递给另一个python函数,它不是使用PythonOperator调用的。def sql_file_template(): task_instance = kwargs['task_instance'] task_instance.
xcom
浏览 5
提问于2020-08-28
得票数 2
2
回答
通过
xCom
完成气流对接命令
python
、
docker
、
airflow
='unix://var/run/docker.sock', tty=True, docker_log = super().execute(context) t
浏览 8
提问于2020-08-31
得票数 1
2
回答
Apache
AIrflow
KubernetesExecutor和KubernetesPodOperator:
xcom
推送不工作
python
、
kubernetes
、
airflow
、
kubernetes-pod
在kubernetes集群中放置了一个Apache
Airflow
实例
: webserver、scheduler和postgresql。使用基于bitnami的自定义舵图,并做了一些更改。
Airflow
正在与KubernetesExecutor一起工作。/
xcom
/return.
json
[2019-12-06 15:12:40,201] {logging_mixin.py:112} INFO - [2019-12-06 15:12:40,201] {pod_launcher.py:2
浏览 91
提问于2019-12-06
得票数 3
回答已采纳
5
回答
如何在DAG完成其在气流中的运行时删除
XCOM
对象
airflow
、
apache-airflow
、
airflow-scheduler
我在
XCOM
中有一个巨大的
json
文件,稍后我不需要在进程执行完成之后,但是我仍然可以在UI中看到
Xcom
对象和所有
数据
,在完成dag运行后,是否有任何方法以编程方式删除
XCOM
。 谢谢
浏览 2
提问于2017-10-12
得票数 18
回答已采纳
2
回答
用
XCOM
值在气流中
创建
动态工作流
airflow
、
airflow-2.x
现在,我使用这样的变量
创建
多个
任务
,它运行得很好。with DAG(....) as dag: for i in range但出于某种原因,我需要使用
XCOM
值,而不是使用变量。是否可以使用
XCOM
拉值动态
创建
任务
?我试着像这样设定价值,但它不起作用 body = "{{ ti.
xcom
_p
浏览 0
提问于2021-03-26
得票数 2
1
回答
Airflow
Composer删除特定的
xcom
键
airflow
、
google-cloud-composer
我正在通过
Airflow
并行编排多个
数据
流作业。流水线执行中的
任务
之一是推送唯一的
xcom
键来存储每个流水线的临时值,该临时值用于向Bigquery表中插入一个值。
数据
加载完成后,我需要清除特定的
xcom
密钥。我不想删除仍在并行运行的其他
数据
流作业可能生成的其他
xcom
键。它们是清除特定
xcom
密钥的方法吗?
浏览 3
提问于2021-09-05
得票数 0
1
回答
Airflow
:重新运行DAG无法从上次运行中加载
XCOM
airflow
有没有办法在DAG步骤的重新运行期间(在清除状态之后)保持
XCOM
值? 下面是我试图完成的简化版本,即当DAG步骤状态被清除并重新运行该步骤时,我希望能够加载在上一次运行中推送的
XCOM
值。但是,即使我可以在
XCOM
接口中看到该值,也无法提取该值。我查看了pull_
xcom
()方法的源代码,但不知道它在哪里被过滤掉了。 我试图实现的功能是在DAG的失败运行之间保持一定数量的状态。from datetime import datetime from
浏览 14
提问于2020-05-03
得票数 1
回答已采纳
1
回答
在S3ToSnowflakeOperatorof气流中访问
Xcom
jinja2
、
airflow
、
snowflake-cloud-data-platform
流程的所有部分都是工作栏,在S3ToSnowflakeOperator
任务
中提取
xcom
值。我的日志中基本上有以下内容。查询:
从
@MYSTAGE_.SOURCE_PARAMS_
JSON
_DEMO/files=复制到“原始”ti.
xcom
({ti.
xcom
.from
airflow
import DAG from
airflow
.utils import ti
浏览 1
提问于2022-03-29
得票数 1
1
回答
Airflow
-如何将一个操作员的输出
数据
作为输入传递给另一个
任务
airflow
我有一个http端点列表,每个端点都执行自己的
任务
。我们正在尝试编写一个应用程序,该应用程序将通过以特定顺序调用这些端点来进行编排。到目前为止,我所做的是: 1.定义了一个
从
HttpOperator派生的新操作符,并引入了将http端点的输出写入文件的功能。2.我写了一个python运算符,它可以根据需要的逻辑来传输输出。因为我可以执行同一工作流的多个
实例
,所以我不能对输出文件名进行硬编码。有没有办法使我写的http操作符写入一些唯一的文件名,并且相同的文件名应该可用于下一个
任务
,以便它可以读取和处理输出。
浏览 28
提问于2019-12-31
得票数 2
1
回答
将
xcom
数据
拉出
airflow
中的任何操作员
python
、
airflow
、
mwaa
我需要将
数据
从
xcom
拉到一个python变量中,该变量将使用一些正则表达式进行转换并进一步传递。但是,我找不到在不使用任何操作符的情况下如何
从
xcom
读取
数据
的方法(直接写入python代码)。我在AWS上使用了MWAA和
airflow
2.0.2,并使用了以下代码片段。我尝试将DAG值设置为变量并读取它,但这不起作用,因为该变量不是在上传s3Path时
创建
的。我发现ti.
xcom
_pull(key=messages, task_i
浏览 5
提问于2021-10-12
得票数 0
1
回答
气流XComs,处理数千/百万文件
airflow
为了在我的
任务
之间共享这些文件/
数据
,我目前只是保存和
从
sql服务器中提取
数据
。然而,我相信使用XComs会容易得多,并允许我更多地抽象我的代码。但是,我知道在使用Xcoms的
任务
之间可以共享多少
数据
是有限制的。对于这个限制是否只涉及通过一个
Xcom
发送大
数据
,或者是否也适用于通过许多Xcoms发送大量
数据
(每个
xcom
只包含4kb的
数据
),我感到困惑。如果我通过许多XComs发送大量<e
浏览 6
提问于2022-07-19
得票数 0
回答已采纳
2
回答
如何在
Airflow
中
创建
DAG,显示Docker容器的使用情况?
docker
、
containers
、
airflow
我目前使用的是
Airflow
(版本: 1.10.10), 我对
创建
DAG很感兴趣,它将每小时运行一次, 这将带来Docker容器的使用信息(磁盘使用), (可通过docker CLI命令( df -我的理解是:“如果
xcom
_push为真,那么当bash命令完成时,写入标准输出的最后一行也将被推送到
XCom
。” 但我的目标是
从
bash命令中获得一个特定值,而不是最后编写的一行。例如,我想得到这一行(参见screeeshot) "tmpfs 6.2G 0 6.2G 0% /sys
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
1
回答
没有这样的文件或目录/
airflow
/
xcom
/ directory .
json
airflow
创建
了一个包含/
airflow
/
xcom
/return.
json
的镜像,因为日志显示它找不到文件或目录(尝试使用chmod +x) strtpodbefore = KubernetesPodOperator/
xcom
/return.
json
[2019-03-18 20:32:07,026] {/
xcom</e
浏览 4
提问于2019-03-19
得票数 3
1
回答
使用
xcom
_pull的后续
任务
无法使用KubernetesPodOperator
xcom
_push键/值
airflow
'default', name='set-tag',
xcom
_push=True, arguments=['''mkdir /
airflow
&&a
浏览 29
提问于2020-07-01
得票数 0
1
回答
如何导出持久环境变量
python
、
airflow
我为此
创建
了一个额外的方法,代码如下: env = os.environ['ENV'] self.run(sql, autocommit, parameters) 此代码检查环境变量ENV是否为'dev',如果是,则尝试
创建
一个新
数据
库并导出环境变量
数据
库被克隆了,显示了日志记录(f
浏览 7
提问于2021-10-04
得票数 1
回答已采纳
1
回答
无
xcom
任务
之间的气流通信
python
、
airflow
我发现
xcom
实际上将
数据
写入
数据
库并从其他
任务
中提取
数据
。我的
数据
集很大,对它进行分类和写入
数据
库会造成一些不必要的延迟。是否有一种不使用
xcom
在同一气流Dag中的
任务
之间通信
数据
的方法?我知道使用task_instance.
xcom
_push()可以工作,但它也会对
数据
进行筛选,并将其写入我不需要的
数据
库中。from
airflow
imp
浏览 4
提问于2020-02-18
得票数 3
1
回答
从
另一个
任务
中的SimpleHTTPOperator访问响应
airflow
关于this earlier question,假设我们有一个Apache
Airflow
DAG,它包含两个
任务
,首先是一个HTTP请求(即SimpleHTTPOperator),然后是一个处理第一个
任务
的响应的
airflow
.providers.http.operators.http import SimpleHttpOperator python_
浏览 48
提问于2021-10-30
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
airflow 实战系列:基于 python 的调度和监控工作流的平台
为什么数据科学家不需要了解Kubernetes
大规模运行Apache Airflow的经验和教训
调度工具Airflow
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券