腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
获取
xcom
作为
PostgresOperator
参数
?
airflow
我创建了一个
xcom
,我想以
PostgresOperator
参数
的形式获得结果。我试过了 my_task =
PostgresOperator
( postgres_conn_id=config.get(env, 'redshift_conn'), params={ ‘my_parameter': {{ int(ti.
xcom<
浏览 20
提问于2020-10-30
得票数 3
回答已采纳
1
回答
如何
在
PostgresOperator
中提取
XCOM
值
python
、
airflow
在这里,我正在推动
XCOM
值: task_id='execute_bash',bash_command='whoami',因此,在
XCOM
中,它存储{'return_value‘:' $USER '} (在我的例子中然后,我想从
XCOM
中提取这个return_value: task
浏览 6
提问于2020-03-27
得票数 4
回答已采纳
2
回答
如何
将PostgreSQL查询结果传递给气流中的变量?(Postgres操作员或Postgres Hook)
python
、
postgresql
、
airflow
我计划使用PostgreSQL
作为
我的任务元信息提供程序,所以我想运行一些查询,
获取
一些数据并像一个填充的变量一样传递给另一个任务。details_dicts, default=json_util.default) task_instance.
xcom
_push(key="my_value", value=details_json_string) return details_json_stri
浏览 3
提问于2021-08-23
得票数 3
回答已采纳
2
回答
使用
Xcom
从
PostgresOperator
中推送一个值并在PythonOperator中提取它
airflow
我希望将查询“从<table_name>中选择计数(*)”的结果从
PostgresOperator
中推送到PythonOperator,后者是pythonCallable,该值将用于python函数。我
如何
在其中使用
XCom
?我尝试过不同的方法,但每次我在python函数中得到一个未定义的变量时都会出错。) dag=dag, sql= ? )
浏览 5
提问于2022-07-13
得票数 0
1
回答
在SQL查询的" in“子句中转换
xcom
_pull列表
airflow
、
postgres-operator
任务1使用SELECT查询提取ids列表,并使用
xcom
_push设置结果。join(map(str, "{{
xcom
_pull(key='file_ids_to_update'}}")) 查找有关
如何
转换使用
xcom
_pull我想使用
xcom
_pull并将其响应解析
浏览 11
提问于2022-08-28
得票数 0
1
回答
当试图从
PostgresOperator
传递值时,当与
XCom
一起使用时,气流模板不会呈现
airflow
dag=dag) "status_msg": "{{ ti.
xcom
_pullupdate_monitoring_table_status_msg是
如何
不按预期工作的。= '{{ params.script_name }}' 不过
浏览 4
提问于2020-03-09
得票数 0
回答已采纳
1
回答
气流2.0.2
如何
使用
xcom
在postgres任务中传递
参数
?
airflow
、
airflow-2.x
我试图以一种动态的方式传递postgres操作符中的
参数
。为了刷新元数据,有两个任务,传递用于
获取
和执行查询的ids列表( get_query_text_task)
Xcom
浏览 4
提问于2021-05-21
得票数 1
回答已采纳
4
回答
Airflow -定义
xcom
_push函数的键、值
airflow
我不确定
xcom
_push函数的键和值应该是什么。有没有人能帮上忙。host' port = '5439' sslmode = 'require' ") task_instance.
xcom
_push(key=db_con, value = db_log)是否有人可以帮助
获取
xcom
_push函数的正确键和值。
浏览 2
提问于2018-05-30
得票数 6
1
回答
如何
访问一个SImpleHttpOperator响应,并使用该响应数据值
作为
下一个SimpleHttpOperator任务的
参数
传递?
airflow
我需要从第一个任务获得响应,并使用该响应数据为第二个任务创建
参数
。两者都是GET API。
如何
从simpleHttpOperator
获取
响应数据,我尝试了
XCOM
为真,但是
如何
将数据从
XCOM
获取
到第二个运算符?
浏览 0
提问于2020-04-01
得票数 1
3
回答
将字符串列表
作为
气流中依赖任务的
参数
传递。
python
、
airflow
(key='return_value', value=full_paths) 然后,我想使用这样的列表
作为
操作符的
参数
。返回转换为字符串列表(然后,我的AfterBlahOperator插入
作为
JSON中元素值的赋值)。函数应用于
参数
(如在"{{ ti.
xcom
_pull(task_ids='find-paths') }}".split(';')中),则得到paths的原始级联字符串。当可以进一步处理提取的值时,
XCo
浏览 6
提问于2017-11-01
得票数 5
回答已采纳
1
回答
Airflow
XCOM
拉取未渲染
python
、
jinja2
、
airflow
我有一个自定义运算符,在
参数
列表中,我使用
xcom
_pull从
XCOM
获取
值。但它不会呈现为实际的值,而是保留为字符串。command_func( '%s/spark_args' % key, ['--input_file', "{{ ti.
xcom
_pull('set_parameters', key='input_file
浏览 5
提问于2021-05-28
得票数 0
2
回答
如何
从推到气流
XCom
的字典中提取值
airflow
假设我有一些气流操作符,给操作符的一个
参数
需要从
xcom
获取
值。我设法做到了以下几点-其中,model_id是码头运算符的
参数
名,气流运行,task_id是
xcom
中该值的键名。就像- f"model_id={{{{ ti.
xcom
_pull(task_ids
浏览 2
提问于2022-06-28
得票数 0
1
回答
在运算符中使用
XCOM
值
python
、
airflow
我想使用
XCOM
值
作为
我的操作符的
参数
。[{'SOURCE_HOST': 'TEST_HOST'}] ti = kwargs['ti'] ti.
xcom
_pull(task_ids='task1'
浏览 1
提问于2021-10-14
得票数 0
2
回答
传递触发器DAG值
xcom
airflow
、
google-cloud-composer
我正在构建一个父进程,它主要根据
xcom
值对另一个进程执行条件触发器。下面是我的TriggerDAGRunOperator的配置方式 context["task_instance"].
xcom
_pushtask_id = "trigger_dependent_dag", trigger_dag_id={{ task_instance.
xcom
_pu
浏览 7
提问于2022-10-10
得票数 0
1
回答
初始运行期间的DAG故障
airflow
=
PostgresOperator
( postgres_conn_id='postgres_default',sql="delete from
xcom
where dag_id='DAG_A' and task_id='TASK_A' ") end = DummyOperator>> end 在执行airflow db
浏览 48
提问于2021-06-22
得票数 0
1
回答
来自GoogleCloudStoragePrefixSensor的
xcom
_pull
airflow
已尝试在主check_file_gcs所在位置使用context'ti'.
xcom
_pull(task_ids='check_file_gcs') prefix="<file_name>", dag=dag) 我无法从
xcom
_pull
获取
文件名
浏览 3
提问于2021-03-09
得票数 1
回答已采纳
2
回答
无支撑模板场的气流- SparkSubmitOperator
apache-spark
、
airflow
我有一些dags运行预处理,从另一个restful中
获取
spark配置,然后使用不同的
参数
实际提交spark作业。 total_executor_cores="{{ ti.
xcom
_pull(task_ids='preprocessing', key='t
浏览 13
提问于2022-04-13
得票数 0
回答已采纳
2
回答
如何
将
Xcom
中的值传递给另一个运算符?
airflow
DockerOperator有一个
参数
xcom
_push,设置该
参数
时,会将Docker容器的输出推送到
Xcom
: image='hello-world',在
Xcom</
浏览 3
提问于2019-11-20
得票数 2
1
回答
如何
强迫气流不把单引号周围呈现的名字在
PostgresOperator
?
python
、
formatting
、
airflow
我使用气流
PostgresOperator
和
参数
parameters来将我的查询的表名替换为字典中包含的表名。例如: create_table =
PostgresOperator
(sql='DROP TABLE if exists %(my_table)s;',
如何
强迫气流不把单引号周围呈现的名称?
浏览 3
提问于2021-12-04
得票数 0
回答已采纳
0
回答
在for循环中执行气流任务
python-2.7
、
workflow
、
airflow
我正在尝试创建一个dag,其中我从一个任务中的表跟踪器
获取
表名,然后我想在每个表上运行不同的SQL操作(任务)我可以使用
xcom
将表名从一个任务传递到另一个任务,但for循环中的任务无法执行,我甚至无法在airflow.operators.sensors import SqlSensor from airflow.operators import BashOperator,
PostgresOperator
run_enrich_ontables(*args, **kwargs):
浏览 4
提问于2017-01-04
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SOLIDWORKS如何获取模型中的参数
18年1 月数据库内核月报
善于长线单机的Paradox,又拿出了一款能让你玩3年的游戏
《突变元年 伊甸之路》评测:披着XCOM战斗外衣的废土冒险
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券