腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Airflow
中
XCOM
的
最大
内存大小
airflow
我想知道在
airflow
中
是否有
XCOM
的
内存大小
限制?
浏览 56
提问于2019-02-06
得票数 11
5
回答
如何在DAG完成其在气流
中
的
运行时删除
XCOM
对象
airflow
、
apache-airflow
、
airflow-scheduler
我在
XCOM
中有一个巨大
的
json文件,稍后我不需要在进程执行完成之后,但是我仍然可以在UI中看到
Xcom
对象和所有数据,在完成dag运行后,是否有任何方法以编程方式删除
XCOM
。 谢谢
浏览 2
提问于2017-10-12
得票数 18
回答已采纳
1
回答
尝试拉取大于50KB
的
消息时,PubSubPullSensor失败
google-cloud-platform
、
airflow
、
google-cloud-pubsub
我一直在尝试在
Airflow
中使用PubSubPullSensor来拉取JSON消息并将其摄取到bigquery
中
,当消息大小超过阈值时,传感器无法通过
XCOM
拉取消息并推送。我知道
XCOM
有一个
最大
大小限制,但是我们如何克服这种情况,对于这种情况有什么变通办法吗?
浏览 3
提问于2020-05-12
得票数 0
3
回答
未能从气流舱- Kubernetes pod操作符中提取
xcom
python
、
kubernetes
、
airflow
在运行DAG时,DAG使用码头映像运行jar, dag=dag) File "/usr/local/
airflow
/operators/pod_launcher.py", line 161, in _extract_
xcom
: Failed
浏览 1
提问于2018-11-27
得票数 5
回答已采纳
1
回答
Airflow
Composer删除特定
的
xcom
键
airflow
、
google-cloud-composer
我正在通过
Airflow
并行编排多个数据流作业。流水线执行
中
的
任务之一是推送唯一
的
xcom
键来存储每个流水线
的
临时值,该临时值用于向Bigquery表
中
插入一个值。数据加载完成后,我需要清除特定
的
xcom
密钥。我不想删除仍在并行运行
的
其他数据流作业可能生成
的
其他
xcom
键。它们是清除特定
xcom
密钥
的
方法吗?
浏览 3
提问于2021-09-05
得票数 0
1
回答
由气流制造
的
库伯奈特吊舱仍处于运行状态。
kubernetes
、
google-cloud-platform
、
airflow
我已经在库伯奈特星系团
中
建立了气流。要运行任务,我使用
的
是KubernetesPodOperator。20T00:00:00+00:00do_something = KubernetesPodOperator( task_id=&
浏览 2
提问于2019-01-27
得票数 7
1
回答
如何从容器内部获取使用DockerOperator执行
的
日志?(
Airflow
)
python-3.x
、
docker
、
airflow
我正面临着DockerOperator
的
日志问题。 我正在使用DockerOperator在docker容器
中
运行python脚本,我需要
airflow
从容器
中
运行
的
python脚本
中
输出日志。Airlfow将作业标记为成功,但容器内
的
脚本失败,我不知道发生了什么,因为我无法正确地看到日志。除了按照docs
中
的
建议将tty选项设置为True之外,是否还有其他方法可以为DockerOpertor设置日志记录
浏览 28
提问于2020-05-01
得票数 2
1
回答
保存解析json文件
的
输出并将其传递给Bigqueryinsertjoboperator
google-bigquery
、
airflow
、
google-cloud-composer
我需要一些建议来解决这个审计目的
的
要求。我正在使用
airflow
composer - dataflow java操作员作业,它在作业完成后输出带有状态和错误消息详细信息
的
json文件(放入
airflow
数据文件夹)。我想通过一些运算符从json文件中提取状态和错误信息,然后将变量传递给下一个流水线作业Bigqueryinsertjoboperator,它调用存储
的
proc,并将状态和错误信息作为输入参数传递,最后写入
浏览 16
提问于2021-08-31
得票数 0
2
回答
Apache
AIrflow
KubernetesExecutor和KubernetesPodOperator:
xcom
推送不工作
python
、
kubernetes
、
airflow
、
kubernetes-pod
在kubernetes集群中放置了一个Apache
Airflow
实例: webserver、scheduler和postgresql。使用基于bitnami
的
自定义舵图,并做了一些更改。
Airflow
正在与KubernetesExecutor一起工作。
Xcom
推送只有在PythonOperator下才能正常工作,但在KubernetesPodOperator
中
,我在执行结束时得到了错误(所有dags都会受到影响): [2019-12-06 15:12pod_launcher.py:224} INFO -
浏览 91
提问于2019-12-06
得票数 3
回答已采纳
2
回答
通过
xCom
完成气流对接命令
python
、
docker
、
airflow
我试图在dc1 (通过DockerOperator)
中
执行task1
中
的
命令,并将其输出用于task2
中
的
dc2命令
中
。我有一个可行
的
解决方案,但不幸
的
是,它并不可靠: # a simple version of the real script='unix://var/run/dock
浏览 8
提问于2020-08-31
得票数 1
2
回答
如何在非气流运算符python函数
中
访问
Xcom
值
airflow
我有一个存储
的
XCom
值,我想传递给另一个python函数,它不是使用PythonOperator调用
的
。def sql_file_template(): task_instance = kwargs['task_instance'] task_inst
浏览 5
提问于2020-08-28
得票数 2
2
回答
Xcom
表
database
、
postgresql
、
docker
、
airflow
、
devops
在气流
中
清洁
xcom
表
的
最佳方法是什么?它运行在postgres db
的
码头上。我尝试用查询(从
xcom
删除)删除一些数据,并尝试运行以下引用:,但是它不工作,
xcom
表
的
大小仍然没有减少 与本例相关,它占用了我
的
主机服务器上
的
大量存储空间。
浏览 32
提问于2022-04-25
得票数 0
回答已采纳
1
回答
使用
XCOM
从Python操作符
中
获取值,并将其交给Bash运算符
python
、
bash
、
airflow
我是个新手,想要创建一个管道,这样赋予Python
的
函数就会接受变量,并使用
XCOM
方法,将这些变量交给Bash。使用Bash,我尝试运行整个python脚本,它需要从
XCOM
方法获取
的
这些变量。有人能帮我创建这样
的
管道吗?from <e
浏览 5
提问于2022-06-22
得票数 0
3
回答
使用
xcom
拉取从其他dag推送
的
变量
python
、
airflow
我对
airflow
和使用"
xcom
_push“和"
xcom
_pull”功能非常陌生。kwargs['ti'].
xcom
_push(key='start_date',value=start_date) kwargs['ti'].
xcom
_push(key='end_date',value=end
浏览 0
提问于2019-11-04
得票数 3
1
回答
Airflow
-如何将一个操作员
的
输出数据作为输入传递给另一个任务
airflow
我有一个http端点列表,每个端点都执行自己
的
任务。我们正在尝试编写一个应用程序,该应用程序将通过以特定顺序调用这些端点来进行编排。在这个解决方案
中
,我们还必须处理一个http端点
的
输出,并为下一个http enpoint生成输入。此外,根据触发器,可以同时调用相同
的
工作流。到目前为止,我所做
的
是: 1.定义了一个从HttpOperator派生
的
新操作符,并引入了将http端点
的
输出写入文件
的
功能。2.我写了一个python运算符,它可以根据需要<em
浏览 28
提问于2019-12-31
得票数 2
1
回答
使用
xcom
_pull
的
后续任务无法使用KubernetesPodOperator
xcom
_push键/值
airflow
这是我正在尝试
的
KubernetesPodOperator
的
一个例子-- set_tag = KubernetesPodOperator( echo '{"test_key":"test_value"}' > /
airflow
/
浏览 29
提问于2020-07-01
得票数 0
1
回答
Ubuntu上
的
气流-自定义
XCom
后端
airflow
我正在尝试实现自定义
XCOM
后端。这些是我所做
的
步骤:from typing importAny class CustomXComBackend(BaseXCom)
xcom
_
浏览 9
提问于2022-02-11
得票数 2
1
回答
在S3ToSnowflakeOperatorof气流
中
访问
Xcom
jinja2
、
airflow
、
snowflake-cloud-data-platform
然后,我将使用Python操作符提取键值,并将其存储在
xcom
变量
中
。然后,我希望在S3ToSnowflakeOperator中提取这个
xcom
值,并实质上将该文件加载到雪花表
中
。流程
的
所有部分都是工作栏,在S3ToSnowflakeOperator任务中提取
xcom
值。我
的
日志
中
基本上有以下内容。我
的
代码如下:from
airflow
.utils
浏览 1
提问于2022-03-29
得票数 1
1
回答
Airflow
:重新运行DAG无法从上次运行中加载
XCOM
airflow
有没有办法在DAG步骤
的
重新运行期间(在清除状态之后)保持
XCOM
值? 下面是我试图完成
的
简化版本,即当DAG步骤状态被清除并重新运行该步骤时,我希望能够加载在上一次运行
中
推送
的
XCOM
值。但是,即使我可以在
XCOM
接口中看到该值,也无法提取该值。我查看了pull_
xcom
()方法
的
源代码,但不知道它在哪里被过滤掉了。 我试图实现
的
功能是在DAG
的
失败运行之间保持一定数量
的
状态。在
浏览 14
提问于2020-05-03
得票数 1
回答已采纳
2
回答
如何在
Airflow
中
创建DAG,显示Docker容器
的
使用情况?
docker
、
containers
、
airflow
我目前使用
的
是
Airflow
(版本: 1.10.10), 我对创建DAG很感兴趣,它将每小时运行一次, 这将带来Docker容器
的
使用信息(磁盘使用), (可通过docker CLI命令( df -h)获得
的
信息)。我
的
理解是:“如果
xcom
_push为真,那么当bash命令完成时,写入标准输出
的
最后一行也将被推送到
XCom
。” 但我
的
目标是从bash命令
中
获得一个特定值,而不是最后编写
的
一行。例
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
模式识别中的最大似然估计
如何在 Linux 中查找最大的 10 个文件
有关您职业生涯的内容中尽最大努力
Excel表格中的折线图如何显示最大值?
全球最大的铜矿公司将AI技术引入矿山运营中
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券