如何基于Yarn开发你的分布式程序

前一段时间自己开发了一套基于Yarn的容器调度系统,这篇文章就是分享其中的一些经验。

前言

这篇文章不会具体教你如何使用Yarn的API,但是会教你我实践过后的一些经验。接下来的内容会探讨以下两个主题:

  1. 基于Yarn开发分布式程序需要做的一些准备工作
  2. 基于Yarn开发容器调度系统的一些基本思路

基于Yarn开发分布式程序需要做的一些准备工作

肯定不能撸起袖子就开始干。你思考代码组织,那么你会是一个好的工程师。如果你开始思考系统分层结构,你会是一个好的架构师。当然,最好是都要思考一下啦。

*** Yarn 原生的API太底层,太复杂了 ***

如果你想愉快的开发Yarn的应用,那么对Yarn的API进行一次封装,是很有必要的。 Yarn为了灵活,或者为了能够满足开发者大部分的需求,底层交互的API就显得比较原始了。自然造成开发难度很大。这个也不是我一个人觉得,现在Apache的twill,以及Hulu他们开发的时候Adaptor那一层,其实都是为了解决这个问题。那为什么我没有用Twill呢,第一是文档实在太少,第二是有点复杂,我不需要这么复杂的东西。我觉得,Twill与其开发这么多功能,真的不如好好写写文档。

*** 最好是能开发一个解决一类问题的Framework ***

Yarn只是一个底层的资源管理和调度引擎。一般你需要基于之上开发一套解决特定问题的Framework。以Spark为例,他是解决分布式计算相关的一些问题。而以我开发的容器调度程序,其实是为了解决动态部署Web应用的。在他们之上,才是你的应用。比如你要统计日志,你只要在Spark上开发一个Application 。 比如你想要提供一个推荐系统,那么你只要用容器包装下,就能被容器调度程序调度部署。

所以通常而言,基于Yarn的分布式应用应该符合这么一个层次

Yarn -> Adapter -> Framework -> Application

Adapter 就是我第一条说的,你自个封装了Yarn的API。 Framework就是解决一类问题的编程框架,Application才是你真正要解决业务的系统。通过这种解耦,各个层次只要关注自己的核心功能点即可。

*** 保证你上层的Framework/Application可以移植 ***

Spark是个典型,他可以跑在Mesos上,也可以跑在Yarn上 ,还可以跑在自己上面(standalone),就是因为Spark的Framework不依赖于底层的Core,这个Core其实就是各个资源调度服务的适配层。我封装了Yarn后,上层的Framework是看不到的Yarn的API的,直接依赖YarnAdaptor,如果需要,我可以再开发一套Mesos Adaptor。

这其实是上面两条带来的好处,因为有了Adaptor,上层的Framework可以不用绑死在某个资源调度引擎上。而Framework则可以让Applicaiton 无需关注底层调度的事情,只要关注业务即可。

另外,你费尽心机开发的Framework上,你自然是希望它能跑在更多的平台上,已满足更多的人的需求,对吧。

基于Yarn开发容器调度系统的一些基本思路

首先我们需要了解两个概念:

  • 哑应用,所谓哑应用指的是无法和分布式系统直接进行交互,分布式系统也仅仅透过容器能进行生命周期的控制,比如关闭或者开启的应用。典型的比如MySQL,Nginx等这些基础应用。他们一般有自己特有的交互方式,譬如命令行或者socket协议或者HTTP协议。
  • 伴生组件,因为有了哑应用的存在,分布式系统为了能够和这些应用交互,需要有一个代理。而这个代理和被代理的哑应用,具有相同的生命周期。典型的比如,某个服务被关停后,该事件会被分布式系统获知,分布式系统会将该事件发送给Nginx的伴生组件,伴生组件转化为Nginx能够识别的指令,将停止的服务从Nginx的ProxyBackend列表中剔除。

在容器调度系统中,如果Yarn的NodeManager 直接去管理Docker则需要Yarn本身去做支持,我觉得这是不妥的。Yarn的职责就是做好资源管理,分配,调度即可,并不需要和特定的某个技术耦合,毕竟Yarn是一个通用型的资源调度管理框架。我们只要开发一套Framework,这个framework的slave节点其实是对应容器的一个伴生对象,这样我们就能透过这个framework对容器进行管理,并且该framework还衔接了容器和Yarn。 我们简单描述下他们的流程

  1. 用户提交Application,申请资源
  2. Yarn 启动Framework 的master
  3. Yarn启动Framework 的 slave
  4. slave 连接上master,并且发送心跳,从而master知道slave的状况
  5. slave 启动 docker,slave 与被启动的这个docker container 一一对应
  6. slave 定时监控container
  7. slave发现container crash,slave 自动退出,yarn获得通知,收回资源
  8. master 发现有节点失败,发出新的节点要求,重新在另外一台服务器上启动slave,重复从2开始的步骤

这里还有一个问题,如果slave 被正常杀掉,可以通过JVM ShudownHook 顺带把container也关掉。 但是如果slave被kill -9 或者异常crash掉了,那么就可能导致资源泄露了。目前是这个信息是由master上报给集群管理平台,该平台会定时清理。你也可以存储该信息,譬如放到Redis或者MySQL中,然后启动后台清理任务即可。

了解了这个思路后,具体实施就变得简单了,就是开发一个基于Yarn的master-slave 程序即可,然后slave去管理对应的docker容器,包括接受新的指令。master提供管理界面展示容器信息,运行状态即可。

当然,你还可以再开发一套Framework B 专门和Nginx交互,这样比如上面的系统做了节点变更,通知B的master,然后B的master 通过自己的伴生组件Slave 完成Nginx的更新,从而实现后端服务的自动变更和通知。

现在看来,是不是这种概念完美的覆盖了应用之间的交互呢?

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

Zookeeper指标分析

通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变,指标数据异常。

569110
来自专栏Spark学习技巧

Apache Spark:来自Facebook的60 TB +生产用例

浪尖整理翻译https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-producti...

17620
来自专栏包子铺里聊IT

5分钟深入浅出 HDFS

通过前面几篇文章的介绍,我们深入讨论了 Hadoop MapReduce 处理数据的过程,以及优化 MapReduce 性能的方方面面。 期间被反复提及的 HD...

32260
来自专栏个人分享

大数据全体系年终总结

  1、文件存储当然是选择Hadoop的分布式文件系统HDFS,当然因为硬件的告诉发展,已经出现了内存分布式系统Tachyon,不论是Hadoop的MapRed...

17850
来自专栏大数据和云计算技术

资源管理框架(mesos/YARN/coraca/Torca/Omega)分析

1 资源调度的目标和价值 1.1 子系统高效调度 任务之间资源隔离,减少争抢。 任务分配调度时结合资源分配,各个任务分配合理的资源,充分利用系统资源,减少资源利...

46880
来自专栏静晴轩

Npm vs Yarn 之备忘详单

有则笑话,如此讲到:“老丈人爱吃核桃,昨天买了二斤陪妻子送去,老丈人年轻时练过武,用手一拍核桃就碎了,笑着对我说:你还用锤子,你看我用手就成。我嘴一抽,来了句:...

35630
来自专栏大数据

浅析大数据HIVE和HBASE有何区别

Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语...

27760
来自专栏IT大咖说

你只知大数据的便利,却不知漏洞——hadoop安全完整解析

内容来源:2017 年 07 月 29 日,威客安全技术合伙人安琪在“CDAS 2017 中国数据分析师行业峰会”进行《大数据平台基础架构hadoop安全分析》...

27540
来自专栏腾讯大数据的专栏

Hadoop Raid-实战经验总结

分布式文件系统用于解决海量数据存储的问题,腾讯大数据采用HDFS(Hadoop分布式文件系统)作为数据存储的基础设施,并在其上构建如Hive、HBase、Spa...

317100
来自专栏hadoop学习笔记

深度解析(一):大快DKM企业大数据管理平台基本功能

之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。关于DKHadoop...

21150

扫码关注云+社区

领取腾讯云代金券