展开

关键词

首页关键词airflow xcom

airflow xcom

相关内容

云服务器

云服务器

稳定、安全、弹性、高性能的云端计算服务,实时满足您的多样性业务需求
  • 如何在Airflow中将XCOM消息从PythonOperator任务传递给SparkSubmitOperator任务?

    假设我有一个PythonOperator任务将消息推送给XCOM,我如何在SparkSubmitOperator中提取这些消息?task_id=run_sparkSubmit_job, conn_id=spark_default, java_class=com.example, application=example.jar, name=airflow-spark-job
    来自:
    回答:1
  • Airflow——如何将xcom变量传递给Python函数?

    = BashOperator( task_id=submit_file_to_spark, bash_command=echo hello world, trigger_rule=all_done, xcom_push, dag=dag) task_archive_s3_file = PythonOperator( task_id=archive_s3_file,# bash_command=echo {{ ti.xcom_pullsubmit_file_to_spark) }}, python_callable=obj.func_archive_s3_file, params={s3_path_filename: {{ ti.xcom_pull
    来自:
    回答:2
  • Airflow速用

    ()方法  2:直接在PythonOperator中调用的函数 return即可    下拉数据 主要使用 xcom_pull()方法 官方代码示例及注释: 1 from __future__ importprovide_context: True,11 }12 13 dag = DAG(example_xcom, schedule_interval=@once, default_args=args)1415 value_1 = 16 value_2 = {a: b}17 18 19 # 2种推送数据的方式,分别为xcom_push,和直接return20 21 def push(**kwargs):22 Pushes an XCom without a specific target23 kwargs.xcom_push(key=value from pusher 1, value=value_1)45 assert v2 == value_246 47 # get both value_1 and value_248 v1, v2 = ti.xcom_pull(key=None, task_ids
    来自:
    浏览:1099
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年99元,还有多款热门云产品满足您的上云需求

  • 云上搭建 Airflow

    Apache Airflow 是一款开源的工作流管理系统,集成了编排、调度、监控以及图形化展示等功能。在数据仓库场景,Airflow 则可以应用于 ETL 任务的管理。本文主要介绍如何在云端服务器上搭建 Airflow。Airflow 默认安装购买 云服务器。 注意: 本文以 CentOS 8.0 为例。 安装依赖软件安装 Airflow 前,需安装如下依赖。处理时区Airflow 使用 UTC 时间,与北京时间差8个小时,因此需要进行处理,由于 Airflow 写死部分代码,因此除了修改配置文件外,也需要修改源码,步骤如下: 修改AIRFLOW_HOME下的}airflow-webserver.pidkill {pid}airflow webserver -D 使用云数据库 MySQL 存储数据Airflow 默认使用嵌入式的 Sqlite 存储数据,如果要上生产环境airflow resetdb
    来自:
  • 云数据仓库 PostgreSQL

    ,插件使用,使用工具配置 MySQL 到 CDWPG 集群的实时同步,建表优化,冷备数据,联系我们,TPC-B,帆软 FineBI,使用 rule 规则实现 CDWPG upsert 操作,云上搭建 AirflowCDWPG 集群的实时同步,最佳实践,建表优化,冷备数据,联系我们,性能指标,TPC-B,BI 分析工具,帆软 FineBI,使用 rule 规则实现 CDWPG upsert 操作,数仓开发,云上搭建 Airflow
    来自:
  • Airflow使用指南一 安装与启动

    https:pypi.tuna.tsinghua.edu.cnsimple airflow如果出现下面提示,表示你的airflow安装成功了: Successfully installed airflow4addfa1236f1, Add fractional seconds to mysql tablesINFO Running upgrade 4addfa1236f1 -> 8504051e801b, xcom备注数据库用户名与密码均为root,airflow使用的数据库为airflow.使用如下命令创建对应的数据库: mysql> create database airflow;Query OK, 1 row4addfa1236f1, Add fractional seconds to mysql tablesINFO Running upgrade 4addfa1236f1 -> 8504051e801b, xcomknown_event_type || log || sla_miss || slot_pool || task_fail || task_instance || users || variable || xcom
    来自:
    浏览:1020
  • Airflow配置和使用

    Airflow能做什么Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务,只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。初始化数据库 airflow initdb 启动web服务器 airflow webserver -p 8080 启动任务 airflow scheduler 此外我们还可以直接测试单个DAG,如测试文章末尾的| known_event_type | | log | | sla_miss | | slot_pool | | task_instance | | users | | variable | | xcom: airflow initdb` (若前面执行过,就跳过)ct@server:~airflow: airflow webserver --debug &ct@server:~airflow: airflow
    来自:
    浏览:8810
  • Airflow安装教程

    安装airflow# pip install airflow如果上面命令安装较慢,可以使用下面命令国内源安装。# pip install -i https:pypi.tuna.tsinghua.edu.cnsimple airflow3.初始化数据库airflow默认使用sqlite作为数据库, 直接执行数据库初始化命令后, 会在环境变量路径下新建一个数据库文件airflow.db# airflow initdb {__init__.py:57} INFO - Using executor SequentialExecutorDB4addfa1236f1, Add fractional seconds to mysql tablesINFO Running upgrade 4addfa1236f1 -> 8504051e801b, xcom启动airflow webserver默认端口为8080# airflow webserver {__init__.py:57} INFO - Using executor SequentialExecutor
    来自:
    浏览:1926
  • 任务流管理工具 - Airflow配置和使用

    Airflow能做什么Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务,只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。| known_event_type | | log | | sla_miss | | slot_pool | | task_instance | | users | | variable | | xcom: airflow initdb` (若前面执行过,就跳过)ct@server:~airflow: airflow webserver --debug &ct@server:~airflow: airflow:airflow@localhost:3306airflow测试测试过程中注意观察运行上面3个命令的3个窗口输出的日志当遇到不符合常理的情况时考虑清空 airflow backend的数据库, 可使用airflow
    来自:
    浏览:695
  • Airflow Dag可视化管理编辑工具Airflow Console

    Airflow Console: https:github.comRyan-Miaoairflow-consoleApache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库.Airflow即本项目提供了一个dag可视化配置管理方案.如何使用一些概念DAG: Airflow原生的dag, 多个任务依赖组成的有向无环图, 一个任务依赖链。Ext Dag Category: Airflow原生不提供分类的概念,但Console我们扩展了分类功能, 我们创建不同Dag模板可以分属于不同的DAG分类。Airflow那边定时拉取git更新即可.?本地启动通过docker-airflow启动airflow, 暴露pg端口和webserver端口, docker-compose.ymlcd docdocker-compose up启动后访问localhost
    来自:
    浏览:531
  • airflow —安装详解 (2)

    安装python>=2.7安装airflow安装airflow :https:pythonhosted.orgairflowinstallation.htmlyum install libxml2-develyuminstall libxslt-develyum install libffi-devel # airflow needs a home, ~airflow is the default,# but,并创建airflow库:create database airflow default charset utf8; 在使用airflow-1.8.0版本时,如果有如下报错:>>>> sqlalchemy.exc.ProgrammingError查看配置文件$ cd ~airflow$ ls airflow.cfg airflow.db airflow-webserver.pid unittests.cfg 开启用户认证启动认证$vim airflow.cfg创建用户import airflow from airflow import models, settingsfrom airflow.contrib.auth.backends.password_auth
    来自:
    浏览:3771
  • GPU 云服务器

    腾讯GPU 云服务器是提供 GPU 算力的弹性计算服务,具有超强的并行计算能力,作为 IaaS 层的尖兵利器,服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景……
    来自:
  • FPGA 云服务器

    腾讯FPGA云服务器是基于FPGA硬件可编程加速的弹性计算服务,您只需几分钟就可以获取并部署您的FPGA实例。结合IP市场提供的图片,视频,基因等相关领域的计算解决方案,提供无与伦比的计算加速能力……
    来自:
  • 专用宿主机

    专用宿主机(CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
    来自:
  • 黑石物理服务器2.0

    腾讯黑石物理服务器2.0(CPM)是一种包年包月的裸金属云服务,为您提供云端独享的高性能、无虚拟化的、安全隔离的物理服务器集群。使用该服务,您只需根据业务特性弹性伸缩物理服务器数量,获取物理服务器的时间将被缩短至分钟级。
    来自:
  • 容器服务

    腾讯云容器服务(Tencent Kubernetes Engine ,TKE)基于原生kubernetes提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ,扩展了腾讯云的云硬盘、负载均衡等 kubernetes 插件,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性,帮助用户降低成本,提高效率。容器服务提供免费使用,涉及的其他云产品另外单独计费。
    来自:
  • 弹性伸缩

    腾讯弹性伸缩(AS)为您提供高效管理计算资源的策略。您可设定时间周期性地执行管理策略或创建实时监控策略,来管理 CVM 实例数量,并完成对实例的环境部署,保证业务平稳顺利运行。弹性伸缩策略不仅能够让需求稳定规律的应用程序实现自动化管理,同时告别业务突增或CC攻击等带来的烦恼,对于每天、每周、每月使用量不停波动的应用程序还能够根据业务负载分钟级扩展。
    来自:
  • 云函数

    云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。SCF 是实时文件处理和数据处理等场景下理想的计算平台。
    来自:
  • 批量计算

    批量计算(Batch)是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算可以根据用户提供的批处理规模,智能地管理作业和调动所其需的最佳资源……
    来自:

扫码关注云+社区

领取腾讯云代金券