专栏首页容器计算【Spark Operator】集成Airflow

【Spark Operator】集成Airflow

我们的任务流调度是采用 Airflow,画出 DAG 之后再按序执行,其中 Etcd 是我们很重要的组件,所以封装出一个 Airflow 的 Etcd Operator,然后将任务写到 Etcd,而在集群里有个 Watcher 的程序会监听 Etcd 任务的 key,一旦发现就会通过 Spark Operator 的 Spark Application Client 把任务提交到 api-server。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Etcd+Prometheus+Grafana

    这是一个很常见的 Etcd 部署和监控部署的模式。主要是 Etcd 经常会开启 https,所以在配置 Prometheus 的时候需要多配置一下证书。

    runzhliu
  • Spark on K8S 访问 Kerberized HDFS

    Spark 从2.3开始支持 Native 的 K8S 作为 resourceManager 了,官网内容很多,就不赘述了,这里主要参考2018年的 Spark...

    runzhliu
  • 关于 K8S API Resources: Group 和 Version 该怎么写

    Kubernetes 使用声明式 API 来使得系统更加的健壮。但是这也意味着如果我们要创建一个对象,我们可以通过 CLI 或者 REST 的方式告诉系统我们需...

    runzhliu
  • Mockplus原型交互跟我做之6 - 快速给弹出面板命名

    到这里,我们插入一个有用小技巧的介绍。 在交互设计中,我们经常需要给弹出面板起一个名字,便于查看。 一般的方式,是在属性面板中,通过“名称”来修改。 但...

    奔跑的小鹿
  • linux 网络编程 socket选项的实现

    getsockopt和setsockopt 这两个函数成功时返回0,失败时返回-1并设置errno。

    砸漏
  • 算法——快速排序

    凡人飞
  • 归并排序

    归并排序,采用分治法。首先采用递归,把数组分成一小段有序,然后再把有序的数组一一合并。 首先看看,把有序的二个数组,合成一个的算法。 package day20...

    东风冷雪
  • AcWing 141. 周期 || HDU 1358 Period(KMP循环节)

    AcWing题目链接:https://www.acwing.com/problem/content/description/143/

    Ch_Zaqdt
  • 洛谷P2468 [SDOI2010]粟粟的书架(二分答案 前缀和 主席树)

    给出一个矩形,每个点都有一些值,每次询问一个子矩阵最少需要拿几个数才能构成给出的值

    attack
  • 【算法】关于图论中的最小生成树(Minimum Spanning Tree)详解

    这里的图当然不是我们日常说的图片或者地图。通常情况下,我们把图看成是一种由“顶点”和“边”组成的抽象网络。在各个“顶点“间可以由”边“连接起来,使两个顶点间相互...

    短短的路走走停停

扫码关注云+社区

领取腾讯云代金券