专栏首页简单聊聊SparkSpark内核分析之Master的注册机制实现原理

Spark内核分析之Master的注册机制实现原理

        这篇文章我们来讨论一下Master的注册机制;那么有哪些信息需要注册到Master上面去呢?很简单,分别有Worker的注册,Driver的注册,Application的注册。明确了这个以后我们来看一张图;

Master注册流程图

关于Worker和Driver的注册,上面图中已经说的很详细了,我们着重来看看Application的注册流程是如何实现的。

1.在Driver注册完成之后,接着执行Application代码,初始化SparkContext,通过              SparkDeploySchedulerBackend的AppClient内部的线程,ClientActor发送RegisterApplication到Master进行注册; 2.Master接收到请求后,将Application信息写入到内存缓冲中,并将其加入到等待调度队列中; 3.使用持久化引擎将数据进行持久化操作,最后调用Schedule开始相关任务的调度执行;

下面我们看看spark源码是怎么对其进行实现的。

Application注册实现

解释:上图中的sender其实是代表了ClientActor,所以会讲Application的注册信息发送给ClientActor。

加入缓存调度队列实现

总结,本篇内容较短,但是完整的阐述了Worker,Driver,Application的注册机制,下篇会来阐述一下我们的Driver,Application注册完成以后的scheduler调度是如何实现的,同时也是非常非常重要的一个环节,欢迎关注。如需转载,请注明:

上一篇:Spark内核分析之Spark的HA源码分析

本篇:Spark内核分析之Master的注册机制实现原理

下一篇:Spark内核分析之Scheduler资源调度机制

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 搭建CM(ClouderaManager)

    首先,为什么要搭建本地yum源呢?大部分公司里面,由于内网机不允许连接外网,所有导致不能通过网络的方式安装软件,而本地yarn源就是为了解决这个问题而诞生的一种...

    z小赵
  • Spark内核分析之spark作业的三种提交方式

            最近在研究Spark源码,顺便记录一下,供大家学习参考,如有错误,请批评指正。好,废话不多说,这一篇先来讲讲Spark作业提交流程的整体架构。

    z小赵
  • Kafka系列8:一网打尽常用脚本及配置,宜收藏落灰!

    通过前面 7 篇文章的介绍,小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率,帮助我们快速定位一些线上问题,比如查看部...

    z小赵
  • python 编码问题 utf8 ?Un

    UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 4: invalid c...

    py3study
  • 全面的微信小程序答题功能和盈利点分享

    说到微信答题小程序,想必大家都不会陌生,这种简单却有着巨大吸引力的操作方式,它有怎样的功能?赢利点又有哪些呢?今天做一下简单分析。

    用户2954023423
  • 2018 “ 知识变现新时代 ” 直播答题用户洞察报告

    2018年伊始,各大直播平台掀起直播答题热潮,各类玩法花样翻新,“知识变现” 走红网络。是谁在参与直播答题?参与用户又有哪些迷之行为呢?腾讯网产品研发中心联合酷...

    酷鹅用户研究院
  • OpenCV3.0 3.1版本的改进

         OpenCV现在更新到了3.1版本,相对OpenCV2有了很大改进,其中对于硬件加速,移动开发(IOS,android)的支持成为亮点。

    流川疯
  • 微服务扩展性和高可用-集群(翻译)

    集群是一组计算机系统,它们协同工作以形成用户作为单个系统的形式。部署集群是为了提高服务可用性或提高计算或数据操作性能。就等效计算能力而言,集群比具有相同性能特征...

    日薪月亿
  • Oracle EM的重新配置和界面语言修改

    实际在国内的DBA日常工作中,几乎很少会用到EM进行日常管理。但在Oracle的考试中,为了快速完成某些场景的应答,还是推荐使用EM进行操作的。

    Alfred Zhao
  • 18.7.11日报

    1,修复https://passport.liepin.com/e/account#sfrom=click-pc_homepage-front_navigati...

    龙泉寺扫地僧

扫码关注云+社区

领取腾讯云代金券