展开

关键词

首页关键词dolphinscheduler airflow

dolphinscheduler airflow

相关内容

云服务器

云服务器

稳定、安全、弹性、高性能的云端计算服务,实时满足您的多样性业务需求
  • 闲聊调度系统 Apache Airflow

    目前主流的工作流调度系统有 Oozie、Azkaban、Airflow、Luigi、Dagobah 和 Pinball,除了这些以外还有今年十月开源的新的 Apache 孵化项目 Apache dolphinschedulerAirflow:安装和部署都非常简单,后续会进行详述。dolphinscheduler:这个是国人开发和贡献的,比 Airflow 略差一些,但是胜在中文支持比较好。另外:如果 dolphinscheduler 能在2018年开源,可能就会选择这个了。为什么选择 Airflow 呢?前面说了这么多缺点,那为什么还是选择了 Airflow 呢?就像 Airflow 的官网写的,Airflow 有很多优点,并且像阿里等大公司也有许多实践案例证明 Airflow 是经得起复杂的生产环境的考验。
    来自:
    浏览:3269
  • 云上搭建 Airflow

    Apache Airflow 是一款开源的工作流管理系统,集成了编排、调度、监控以及图形化展示等功能。在数据仓库场景,Airflow 则可以应用于 ETL 任务的管理。本文主要介绍如何在云端服务器上搭建 Airflow。Airflow 默认安装购买 云服务器。 注意: 本文以 CentOS 8.0 为例。 安装依赖软件安装 Airflow 前,需安装如下依赖。处理时区Airflow 使用 UTC 时间,与北京时间差8个小时,因此需要进行处理,由于 Airflow 写死部分代码,因此除了修改配置文件外,也需要修改源码,步骤如下: 修改AIRFLOW_HOME下的}airflow-webserver.pidkill {pid}airflow webserver -D 使用云数据库 MySQL 存储数据Airflow 默认使用嵌入式的 Sqlite 存储数据,如果要上生产环境airflow resetdb
    来自:
  • 云数据仓库 PostgreSQL

    ,插件使用,使用工具配置 MySQL 到 CDWPG 集群的实时同步,建表优化,冷备数据,联系我们,TPC-B,帆软 FineBI,使用 rule 规则实现 CDWPG upsert 操作,云上搭建 AirflowCDWPG 集群的实时同步,最佳实践,建表优化,冷备数据,联系我们,性能指标,TPC-B,BI 分析工具,帆软 FineBI,使用 rule 规则实现 CDWPG upsert 操作,数仓开发,云上搭建 Airflow
    来自:
  • 广告
    关闭

    腾讯极客挑战赛-寻找地表最强极客

    报名比赛即有奖,万元礼品和奖金,等你来赢!

  • DolphinScheduler-1.3.0-dev新功能尝鲜

    1DolphinScheduler是什么Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。-1.3.0-cdh5.16.2-dolphinscheduler-bin.tar.gz。-C u01 # 改一波目录名称mv apache-dolphinscheduler-incubating-1.3.0-cdh5.16.2-dolphinscheduler-bin.tar.gz ds初始化数据库.scriptcreate-dolphinscheduler.sh?进行访问访问成功 - 账号admin,密码dolphinscheduler123?
    来自:
    浏览:698
  • 从0-1搭建DolphinScheduler开发环境

    1文档编写目的记录从0-1搭建DolphinScheduler开发环境的过程(mac)便于更多有意愿贡献ds的老铁搭建开发环境参与贡献2所需前置条件需要安装好-jdk maven mysqlnvmgithub拉取自己仓库中的ds代码# clone fork下来的代码git clone https:github.comEights-Liincubator-dolphinscheduler.git?SASS_BINARY_PATH=$NodeSassFile && npm install node-sass 4开发环境前后端测试初始化数据库在mysql中执行数据库创建命令CREATE DATABASE dolphinschedulerdevelopment, remove the #DEV_HOST = 127.0.0.1运行npm run start启动前端页面,访问http:localhost:8888采用管理员账户admin dolphinscheduler123运行成功然后就可以愉快的在本地玩耍DolphinScheduler了!!!
    来自:
    浏览:717
  • Airflow安装教程

    安装airflow# pip install airflow如果上面命令安装较慢,可以使用下面命令国内源安装。# pip install -i https:pypi.tuna.tsinghua.edu.cnsimple airflow3.初始化数据库airflow默认使用sqlite作为数据库, 直接执行数据库初始化命令后, 会在环境变量路径下新建一个数据库文件airflow.db# airflow initdb {__init__.py:57} INFO - Using executor SequentialExecutorDB启动airflow webserver默认端口为8080# airflow webserver {__init__.py:57} INFO - Using executor SequentialExecutorCollecting airflow Using cached https:pypi.tuna.tsinghua.edu.cnpackagese7ac5f1ec362fc0695167d29b3c7b6f28d79898f1221e5a32ab1c6e651a55564airflow
    来自:
    浏览:1926
  • 【漏洞通告】Apache DolphinScheduler高危漏洞(CVE-2020-11974、CVE-2020-13922)

    通告编号:NS-2020-0051 2020-09-11TAG:Apache DolphinScheduler、CVE-2020-11974、CVE-2020-13922漏洞危害:攻击者利用漏洞,可实现权限提升与远程代码执行版本:1.0 1漏洞概述9月11日,绿盟科技监测到Apache软件基金会发布安全公告,修复了Apache DolphinScheduler权限覆盖漏洞(CVE-2020-13922)与Apache DolphinScheduler权限覆盖漏洞(CVE-2020-13922)受影响版本 Apache DolphinScheduler = 1.2.0、1.2.1、1.3.1不受影响版本 Apache DolphinScheduler>= 1.3.2Apache DolphinScheduler远程执行代码漏洞(CVE-2020-11974)受影响版本 Apache DolphinScheduler = 1.2.0、1.2.1不受影响版本:dolphinscheduler.apache.orgzh-cndocsreleasedownload.htmlEND作者:绿盟科技威胁对抗能力部
    来自:
    浏览:160
  • Airflow速用

    :airflow.apache.orgconcepts.html#connections对组合任务 间进行数据传递 http:airflow.apache.orgconcepts.html#xcoms对分布式任务指定#bitshift-composition提高airflow相关执行速度方法通过修改airflow.cfg相关配置官方文档如下:http:airflow.apache.orgfaq.html安装及启动相关服务创建命令行:pip install apache-airflow 根据airflow.cfg的数据库配置,在连接的数据库服务创建一个 名为 airflow_db的数据库 命令行初始化数据库:airflowinitdb 命令行启动web服务: airflow webserver -p 8080 命令行启动任务调度服务:airflow scheduler 命令行启动worker:airflow worker2. airflow.cfg文件中配置 发送邮件服务? 
    来自:
    浏览:1096
  • Airflow Dag可视化管理编辑工具Airflow Console

    Airflow Console: https:github.comRyan-Miaoairflow-consoleApache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库.Airflow即本项目提供了一个dag可视化配置管理方案.如何使用一些概念DAG: Airflow原生的dag, 多个任务依赖组成的有向无环图, 一个任务依赖链。Ext Dag Category: Airflow原生不提供分类的概念,但Console我们扩展了分类功能, 我们创建不同Dag模板可以分属于不同的DAG分类。Airflow那边定时拉取git更新即可.?本地启动通过docker-airflow启动airflow, 暴露pg端口和webserver端口, docker-compose.ymlcd docdocker-compose up启动后访问localhost
    来自:
    浏览:531
  • Airflow配置和使用

    Airflow能做什么Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务,只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。初始化数据库 airflow initdb 启动web服务器 airflow webserver -p 8080 启动任务 airflow scheduler 此外我们还可以直接测试单个DAG,如测试文章末尾的DAG airflow test ct1 print_date 2016-05-14最新版本的Airflow可从https:github.comapacheincubator-airflow下载获得,解压缩按照安装: airflow initdb` (若前面执行过,就跳过)ct@server:~airflow: airflow webserver --debug &ct@server:~airflow: airflow
    来自:
    浏览:8807
  • airflow —安装详解 (2)

    安装python>=2.7安装airflow安装airflow :https:pythonhosted.orgairflowinstallation.htmlyum install libxml2-develyuminstall libxslt-develyum install libffi-devel # airflow needs a home, ~airflow is the default,# but,并创建airflow库:create database airflow default charset utf8; 在使用airflow-1.8.0版本时,如果有如下报错:>>>> sqlalchemy.exc.ProgrammingError查看配置文件$ cd ~airflow$ ls airflow.cfg airflow.db airflow-webserver.pid unittests.cfg 开启用户认证启动认证$vim airflow.cfg创建用户import airflow from airflow import models, settingsfrom airflow.contrib.auth.backends.password_auth
    来自:
    浏览:3768
  • GPU 云服务器

    腾讯GPU 云服务器是提供 GPU 算力的弹性计算服务,具有超强的并行计算能力,作为 IaaS 层的尖兵利器,服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景……
    来自:
  • FPGA 云服务器

    腾讯FPGA云服务器是基于FPGA硬件可编程加速的弹性计算服务,您只需几分钟就可以获取并部署您的FPGA实例。结合IP市场提供的图片,视频,基因等相关领域的计算解决方案,提供无与伦比的计算加速能力……
    来自:
  • 专用宿主机

    专用宿主机(CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
    来自:
  • 黑石物理服务器2.0

    腾讯黑石物理服务器2.0(CPM)是一种包年包月的裸金属云服务,为您提供云端独享的高性能、无虚拟化的、安全隔离的物理服务器集群。使用该服务,您只需根据业务特性弹性伸缩物理服务器数量,获取物理服务器的时间将被缩短至分钟级。
    来自:
  • 容器服务

    腾讯云容器服务(Tencent Kubernetes Engine ,TKE)基于原生kubernetes提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ,扩展了腾讯云的云硬盘、负载均衡等 kubernetes 插件,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性,帮助用户降低成本,提高效率。容器服务提供免费使用,涉及的其他云产品另外单独计费。
    来自:
  • 弹性伸缩

    腾讯弹性伸缩(AS)为您提供高效管理计算资源的策略。您可设定时间周期性地执行管理策略或创建实时监控策略,来管理 CVM 实例数量,并完成对实例的环境部署,保证业务平稳顺利运行。弹性伸缩策略不仅能够让需求稳定规律的应用程序实现自动化管理,同时告别业务突增或CC攻击等带来的烦恼,对于每天、每周、每月使用量不停波动的应用程序还能够根据业务负载分钟级扩展。
    来自:
  • 云函数

    云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。SCF 是实时文件处理和数据处理等场景下理想的计算平台。
    来自:
  • 批量计算

    批量计算(Batch)是为有大数据计算业务的企业、科研单位等提供高性价比且易用的计算服务。批量计算可以根据用户提供的批处理规模,智能地管理作业和调动所其需的最佳资源……
    来自:

扫码关注云+社区

领取腾讯云代金券