Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而standalone也提供了一种集群高可用的方法,即通过配置可以实现双master机制,保证在一个master挂掉以后,另外一个master立即启用。spark的主备切换提供了两种模式,一种是基于文件系统的,另外一种是基于zookeeper的。下面我们来看看spark集群的master主备切换是怎么实现的,如下图所示;

Master主备切换原理图

1.当active master挂掉以后,通知standby master启动,并使用持久化引擎对持久化数据进行读取; 2.持久化引擎将不为空的数据全部注册到master的内存缓冲中; 3.master向所有的Application,Worker发送自己的地址信息; 4.Application,Driver,Worker收到消息并返回一个消息告知master; 5.master一一接收到来自各个Application,worker,Driver的消息以后,开始过滤掉没有响应的节点信息,然后开始调用scheduler()方法,开始为相关进程分配资源;

通过以上原理的介绍,下面看看我们的源码具体是怎么实现的,

worker过滤具体实现

application过滤实现

Driver过滤实现

        关于持久化引擎的补充说明,在spark中引入了三种持久化引擎,分别是基于文件的持久化引擎,基于zookeeper的持久化引擎,BlackHolePersistenceEngine引擎;系统默认采用的是基于文件的持久化引擎,可以通过spark.deploy.recoveryMode参数配置具体采用那种持久化引擎,该参数的设置位置时spark-env.sh中。

设置为zookeeper的方式:

//spark.deploy.recoveryMode=ZOOKEEPER //spark.deploy.zookeeper.url=192.168.1.100:2181,192.168.1.101:2181 // /spark是默认的,可以不写 //spark.deploy.zookeeper.dir=/spark

设置为基于文件系统的方式:

spark.deploy.recoveryMode=FILESYSTEM spark.deploy.recoveryDirectory=/usr/local/src/spark/dataDir

总结:到这里基本上关于spark的HA的原理及实现分析就完了,后续关于其他组件的实现及源码不定期更新,欢迎关注。

如需转载,请注明:

上一篇:Spark内核分析之SparkContext初始化源码分析

本篇:Spark内核分析之Spark的HA源码分析

下一篇:Spark内核分析之Master的注册机制实现原理

举报

扫码关注云+社区

领取腾讯云代金券