【Spark篇】---Spark中Master-HA和historyServer的搭建和应用

一、前述

 本节讲述Spark Master的HA的搭建,为的是防止单点故障。

Spark-UI 的使用介绍,可以更好的监控Spark应用程序的执行。

二、具体细节

1、Master HA

1、Master的高可用原理

                Standalone集群只有一个Master,如果Master挂了就无法提交应用程序,需要给Master进行高可用配置,Master的高可用可以使用fileSystem(文件系统)和zookeeper(分布式协调服务)。

                fileSystem只有存储功能,可以存储Master的元数据信息,用fileSystem搭建的Master高可用,在Master失败时,需要我们手动启动另外的备用Master,这种方式不推荐使用。

                zookeeper有选举和存储功能,可以存储Master的元素据信息,使用zookeeper搭建的Master高可用,当Master挂掉时,备用的Master会自动切换,推荐使用这种方式搭建Master的HA。

      2、Master高可用搭建

          1) 在Spark Master节点上配置主Master,配置spark-env.sh

  命令如下:-D指明配置

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node02:2181,node03:2181,node04:2181 -Dspark.deploy.zookeeper.dir=/sparkmaster0821

       2) 发送到其他worker节点上

scp spark-env.sh root@node03:`pwd`

       3) 找一台节点(非主Master节点)配置备用 Master,修改spark-env.sh配置节点上的MasterIP:

    4) 启动集群之前启动zookeeper集群

    5) 在主节点上启动spark Standalone集群:./start-all.sh   在从节点上(node02)启动备用集群:在saprk的Sbin目录下启动备用节点:./start-master.sh

    6) 打开主Master和备用Master WebUI页面,观察状态。

主master :

 备用Master

切换过程中的Master的状态:

注意:

  • 主备切换过程中不能提交Application。
  • 主备切换过程中不影响已经在集群中运行的Application。因为Spark是粗粒度资源调,二主要task运行时的通信是和Driver 与Driver无关。
  • 提交SparkPi程序应指定主备Master 

             ./spark-submit --master spark://node01:7077,node02:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

2、配置historyServer

1、临时配置,对本次提交的应用程序起作用

          ./spark-shell --master spark://node1:7077

            --name myapp1

--conf spark.eventLog.enabled=true

           --conf spark.eventLog.dir=hdfs://node1:9000/spark/test

      停止程序,在Web Ui中Completed Applications对应的ApplicationID中能查看history。

   2、spark-default.conf配置文件中配置HistoryServer,对所有提交的Application都起作用

在客户端节点!!!,进入../spark-1.6.0/conf/ spark-defaults.conf最后加入:

         //开启记录事件日志的功能

         spark.eventLog.enabled           true

        //设置事件日志存储的目录

         spark.eventLog.dir                hdfs://node1:9000/spark/test

        //设置HistoryServer加载事件日志的位置

         spark.history.fs.logDirectory   hdfs://node1:9000/spark/test

         //日志优化选项,压缩日志

         spark.eventLog.compress         true

3、启动HistoryServer:./start-history-server.sh

      访问HistoryServer:node4:18080,之后所有提交的应用程序运行状况都会被记录。

  4040 Driver-web-UI对应端口

      8081 Worker对应端口

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏日常分享

Java 以及JEE环境快速搭建

  博主最近找了一个Java Development的实习,加上上个月末的考试周,所以很久没有更新博客。   上了一周的班,还没有在熟悉项目的阶段。

20110
来自专栏伦少的博客

Spark 通过 spark-submit 设置日志级别

Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。

26120
来自专栏hadoop学习笔记

发行版DKhadoop开发环境安装常见问题与解决方法汇总

Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了,今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理,希...

10920
来自专栏Hadoop实操

3.如何实现OpenLDAP的主主同步

前面Fayson文章讲《1.如何在CentOS6.5安装OpenLDAP并配置客户端》以及《2.OpenLDAP集成SSH登录并使用SSSD同步用户》,那么如何...

62950
来自专栏散尽浮华

完整部署CentOS7.2+OpenStack+kvm 云平台环境(1)--基础环境搭建

公司在IDC机房有两台很高配置的服务器,计划在上面部署openstack云平台虚拟化环境,用于承载后期开发测试和其他的一些对内业务。 以下对openstack的...

3K110
来自专栏中国白客联盟

导出域内用户hash的几种方法

在渗透测试期间,可以利用域管权限对域内用户hash进行导出和破解。这些域内用户hash存储在域控制器(NTDS.DIT)中的数据库文件中,并带有一些其他信息,如...

15340
来自专栏磨磨谈

基于Docker UI 配置ceph集群

前一篇介绍了docker在命令行下面进行的ceph部署,本篇用docker的UI进行ceph的部署,目前来说市面上还没有一款能够比较简单就能直接在OS上面去部署...

11220
来自专栏Netkiller

Tomcat 安全配置与性能优化

Tomcat 安全配置与性能优化 摘要 我的系列文档 Netkiller Architect 手札Netkiller Developer 手札Netkiller...

38250
来自专栏Netkiller

Tomcat 安全配置与性能优化

Tomcat 安全配置与性能优化 摘要 我的系列文档 Netkiller Architect 手札Netkiller Developer 手札Netkiller...

36060
来自专栏LhWorld哥陪你聊算法

从0到1搭建spark集群---企业集群搭建

今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群。

57130

扫码关注云+社区

领取腾讯云代金券