腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3254)
视频
沙龙
2
回答
如
何在
HttpSensor
运算符
中
拉
取
xCom
airflow
我想调用一个API,它需要我在
xCom
.How中保存的前一个任务的数据来访问那个
xCom
。 我使用HttpOperater和
HttpSensor
来调用API。
浏览 38
提问于2019-06-27
得票数 2
1
回答
如何将字符串还原为数组列表
arrays
、
python-3.x
、
list
、
airflow
在某些情况下,我在Airflow
中
工作,并在DAG
中
的任务对象之间交换数据。Python版本为3.6.5。我有一个方法可以查询数据库
中
的行集,它以数组列表的形式返回,如下所示:('database_name','schema_name','table_name'), ('database_name',但是,我遇到了一个问题,当我通过
XCOM
变量传递它时,数组列表可以传递给下一个任务对象并由其使用。整个过程被转换成一个字符串,所以我不能在下
浏览 9
提问于2020-05-09
得票数 0
回答已采纳
2
回答
如何解析气流模板
中
的json字符串
airflow
是否可以在气流模板
中
解析JSON字符串? endpoint="some_url", data=json.dumps({ "foo": "bar" }),
浏览 2
提问于2017-11-27
得票数 8
回答已采纳
1
回答
尝试
拉
取
大于50KB的消息时,PubSubPullSensor失败
google-cloud-platform
、
airflow
、
google-cloud-pubsub
我一直在尝试在Airflow中使用PubSubPullSensor来
拉
取
JSON消息并将其摄取到bigquery
中
,当消息大小超过阈值时,传感器无法通过
XCOM
拉
取消息并推送。我知道
XCOM
有一个最大大小限制,但是我们如何克服这种情况,对于这种情况有什么变通办法吗?
浏览 3
提问于2020-05-12
得票数 0
1
回答
Airflow 2使用密钥名称推送
Xcom
airflow
、
airflow-2.x
在Airflow 2 taskflow API
中
,我可以使用以下代码示例,轻松地在任务之间推送和
拉
取
XCom
值: @task(task_id="task_one") check_height(get_height()) 我可以看到传入check_height的val是202,并且包装在
xcom
默认键'return_value‘
中</
浏览 17
提问于2021-10-03
得票数 1
回答已采纳
2
回答
在BigQueryOperator
中
拉
取
xcom
google-bigquery
、
airflow
我正在尝试使用
xcom
根据之前的任务运行带有一些动态参数的BigQueryOperator (我使用BashOperator和
xcom
_push=True实现了这一点)。def get_next_run_date(**context): last_date = context['task_instance'].
xcom
_pull(task_ids=['get_autoplay_last_run_date
浏览 0
提问于2019-04-02
得票数 1
1
回答
Airflow -如何将一个操作员的输出数据作为输入传递给另一个任务
airflow
在这个解决方案
中
,我们还必须处理一个http端点的输出,并为下一个http enpoint生成输入。此外,根据触发器,可以同时调用相同的工作流。2.我写了一个python
运算符
,它可以根据需要的逻辑来传输输出。 因为我可以执行同一工作流的多个实例,所以我不能对输出文件名进行硬编码。
浏览 28
提问于2019-12-31
得票数 2
3
回答
使用
xcom
拉
取
从其他dag推送的变量
python
、
airflow
我对airflow和使用"
xcom
_push“和"
xcom
_pull”功能非常陌生。kwargs['ti'].
xcom
_push(key='start_date',value=start_date)并使
浏览 0
提问于2019-11-04
得票数 3
1
回答
Airflow
XCom
到Python变量
google-app-engine
、
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
airflow
我有一个存储的Python expense_list,我希望将其转换为Python变量expense_variable (而不是将其传递到模板化字段
中
)。我尝试在我的DAG
中
设置变量,但以下代码不起作用。expense_variable = "{{task_instance.
xcom
_pull(task_ids='expense_list')}}" 如
何在
Airflow中将存储的
XCom
expense_list有没有这样的函数或
运算符
?
浏览 0
提问于2019-09-16
得票数 1
1
回答
如
何在
Airflow中将
XCom
消息从PythonOperator任务传递到SparkSubmitOperator任务
python
、
airflow
假设我有一个向
XCom
推送消息的PythonOperator任务,如
何在
SparkSubmitOperator
中
拉
取
此消息?
浏览 2
提问于2018-08-21
得票数 0
回答已采纳
1
回答
Airflow:如何将变量从BaseOperator执行的python脚本传递到on_failure_callback
中
的Airflow arg
python
、
callback
、
airflow
基于脚本的运行,其中包含variable1,我需要将其提供给在DAG文件
中
创建的回调函数。如何解决这个问题?
浏览 13
提问于2020-12-19
得票数 0
1
回答
在Airflow的EmailOperator
中
访问
Xcom
python
、
google-cloud-platform
、
jinja2
、
airflow
我对Airflow非常陌生,我正面临着
Xcom
和Jinja的一些问题。 value=context['task_instance'].
xcom
_pull
浏览 10
提问于2019-11-13
得票数 3
回答已采纳
1
回答
在Airflow DAG中生成要单独处理的多个任务
airflow
下面是一个伪例: def push(**kwargs): for n in range(10): ti = kwargs['ti'] v1 = ti.
xc
浏览 16
提问于2019-02-26
得票数 1
1
回答
气流
xcom
以列表格式返回字符串,而不是仅返回字符串值?
airflow
我有一个气流
运算符
,它返回一个字符串值,任务名为'task1‘。因此,在执行之后,我进入
xcom
并检查return_value和它只是一个字符串(下面是截图)。值在
xcom
中
:--这只是一个字符串那么,是否有一种方法,我可以更新
xcom
拉
(静亚版本),上面显示的只是提取的价值?我在操作符
中
没有访问权,它被传递给我,或者我可以将一些逻辑转换成一个列表,然后只得到值(但这不是理想的,而且无论如何也不是一个选项)。此外,我认为它的工作提到我试
浏览 3
提问于2021-08-17
得票数 1
回答已采纳
2
回答
如何将PostgreSQL查询结果传递给气流
中
的变量?(Postgres操作员或Postgres Hook)
python
、
postgresql
、
airflow
问题是,当我使用PostgresHook时,我得到了数据,但它在python方法
中
是我无法访问的,实际上我看到了下面的一行 task_instance.
xcom
_pushmy_value", value=details_json_string) return d
浏览 3
提问于2021-08-23
得票数 3
回答已采纳
1
回答
如何从具有动态参数的气流
中
触发云数据融合
google-cloud-platform
、
airflow
、
google-cloud-composer
、
airflow-2.x
、
google-cloud-data-fusion
我试图在气流2+
中
创建一个DAG,它将使用CloudDqtaFusionStartPipeline操作符触发多个数据融合管道,它们将并行运行。这里,read_bq是一个BigQuery任务,它将从BigQuery表
中
读取值作为列表(管道名称、运行时参数等值)。我面临的问题是,CloudDqtaFusionStartPipeline没有任何task_instance选项可以用于
xcom
拉
,也不能通过执行<
浏览 8
提问于2022-10-16
得票数 0
1
回答
无法在气流
中
通过自定义操作符
中
的
xcom
airflow
logging.info('First task') parameters = context['task_instance'].
xcom
_pull(key="payload=True) TASK_2 = Operat
浏览 6
提问于2021-06-15
得票数 1
回答已采纳
1
回答
当我是存储库
中
唯一的贡献者/维护者时,为什么github提出“比较和
拉
取
请求”?
github
、
git-branch
、
pull-request
为什么github提出“比较和
拉
取
请求”(绿色按钮),而我是存储库
中
唯一的贡献者/维护者?
如
截图所示:我发现奇怪的是,我会问自己一个
拉
取
请求。难道我不应该只合并分支而不请求
拉
取
请求吗?
浏览 0
提问于2020-05-21
得票数 1
2
回答
如
何在
Airflow
中
创建DAG,显示Docker容器的使用情况?
docker
、
containers
、
airflow
我的理解是:“如果
xcom
_push为真,那么当bash命令完成时,写入标准输出的最后一行也将被推送到
XCom
。” 但我的目标是从bash命令
中
获得一个特定值,而不是最后编写的一行。例如,我想得到这一行(参见screeeshot) "tmpfs 6.2G 0 6.2G 0% /sys/fs/cgroup“ 转换为我的
XCOM
值,这样我就可以编辑和提取其中的特定值, 如何将
XCOM
值推送到catchup=False) as dag: bash
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
1
回答
如何从本地计算机上的公共github回购
拉
取
请求
中
获取文件?
github
如何从本地计算机上的公共回购
拉
取
请求
中
获取文件?我想在确认
拉
取
请求之前测试一下他的代码。为了编译和测试它,我如
何在
本地获得公共repo +他的
拉
取
请求的主控?
浏览 0
提问于2011-09-08
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python入门教程——算术运算符
【数学编程】电子计算器
Python入门教程——关系运算符和赋值运算符
如何让小白轻松理解c语言难点——指针?
TypeScript 4.0正式发布!现在是开始使用它的最佳时机
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券