Spark HA集群搭建


环境准备


1. 集群规划

2. 具体步骤

(1) 把安装包上传到hadoop01服务器并解压

[hadoop@hadoop01 soft]$ tar zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /home/hadoop/apps/

# 解压后如果感觉安装目录的名称太长可以修改一下
[hadoop@hadoop01 soft]$ cd /home/hadoop/apps/
[hadoop@hadoop01 apps]$ mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

(2) 修改spark-env.sh配置文件

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh
[hadoop@hadoop01 apps]$ cd spark-2.2.0/conf
[hadoop@hadoop01 conf]$ mv spark-env.sh.template spark-env.sh

# 修改spark-env.sh配置文件,添加如下内容
[hadoop@hadoop01 conf]$ vim spark-env.sh 

# 配置JAVA_HOME,一般来说,不配置也可以,但是可能会出现问题,还是配上吧
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
# 一般来说,spark任务有很大可能性需要去HDFS上读取文件,所以配置上
# 如果说你的spark就读取本地文件,也不需要yarn管理,不用配
export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.4/etc/hadoop

# 每一个Worker最多可以使用的cpu core的个数,我虚拟机就一个...
# 真实服务器如果有32个,你可以设置为32个
export SPARK_WORKER_CORES=1
# 每一个Worker最多可以使用的内存,我的虚拟机就2g
# 真实服务器如果有128G,你可以设置为100G
export SPARK_WORKER_MEMORY=1g

# 在非HA配置中,配置了SPARK_MASTER_HOST和SPARK_MASTER_PORT
# HA就不用了,让Zookeeper来管理
# 设置zookeeper集群的地址,这个配置有点长,但一定要写到一行
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/spark/ha"

(3) 修改slaves配置文件,添加Worker的主机列表

[hadoop@hadoop01 conf]$ mv slaves.template slaves
[hadoop@hadoop01 conf]$ vim slaves

# 里面的内容原来为localhost
hadoop01
hadoop02
hadoop03
hadoop04

(4) 把SPARK_HOME/sbin下的start-all.sh和stop-all.sh这两个文件重命名

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因: 如果集群中也配置HADOOP_HOME,那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件,当你执行这两个文件,系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了,当然,不修改的话,你需要进入它们的sbin目录下执行这些文件,这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。

[hadoop@hadoop01 conf]$ cd ../sbin
[hadoop@hadoop01 sbin]$ mv start-all.sh start-spark-all.sh
[hadoop@hadoop01 sbin]$ mv stop-all.sh stop-spark-all.sh

(5) 把spark安装包分发给其他节点

[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop02:`pwd`
[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop03:`pwd`
[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop04:`pwd`

(6) 在集群所有节点中配置SPARK_HOME环境变量

[hadoop@hadoop01 conf]$ vim ~/.bash_profile

export SPARK_HOME=/home/hadoop/apps/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[hadoop@hadoop01 conf]$ source ~/.bash_profile

# 其他节点也都配置...

(7) 启动Zookeeper集群

[hadoop@hadoop01 ~]$ zkServer.sh start

# 其他zookeeper节点也要启动...
# 最好也启动hadoop集群

(8) 在hadoop01节点启动master进程

[hadoop@hadoop01 conf]$ start-master.sh

(9) 在hadoop02节点启动master进程

[hadoop@hadoop02 ~]$ start-master.sh

(10) 访问WEB页面查看哪个是ALIVE MASTER

(11) 在ALIVE MASTER节点启动全部的Worker节点

[hadoop@hadoop01 ~]$ start-slaves.sh

(12) 验证集群高可用

正常的进程显示:

挂掉Active Master

[hadoop@hadoop01 ~]$ jps
5873 Jps
5125 QuorumPeerMain
5639 Master
5752 Worker
[hadoop@hadoop01 ~]$ kill -9 5639

hadoop01已经不能访问了:

hadoop02变成了Active Master

启动hadoop01的master进程

[hadoop@hadoop01 ~]$ start-master.sh

hadoop01变成了Standby Master:

spark HA集群搭建成功!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java学习

maven常用命令集合(收藏大全)

如果你是初学者,或者是自学者!你可以加小编微信(xxf960326)!小编可以给你学习上,工作上的一些建议以及可以给你(免费)提供学习资料!最重要我们还可以交个...

14510
来自专栏Hadoop实操

如何利用Dnsmasq构建小型集群的本地DNS服务器

上次我们介绍了如何在Windows Server中构建DNS服务器:如何在Windows Server2008搭建DNS服务并配置泛域名解析。

978100
来自专栏JetpropelledSnake

SNMP学习笔记之Linux下安装和配置SNMP

  选择一个SNMP版本,比如5.7.1,下载地址如下:http://sourceforge.net/projects/net-snmp/files/net-s...

35830
来自专栏程序员同行者

构建NTP时间服务器

34420
来自专栏Hadoop实操

由MasterProcWals状态日志过多导致的HBase Master重启失败问题

本文主要讲述如何解决由MasterProcWals状态日志过多导致的HBase Master重启失败问题。

1.7K50
来自专栏FreeBuf

使用CMSTP绕过AppLocker的方法介绍

CMSTP是一个与Microsoft连接管理器配置文件安装程序关联的二进制文件。它接受INF文件,这些文件可以通过恶意命令武器化,以脚本(SCT)和DLL的形式...

12830
来自专栏WindCoder

Windows 7下硬盘安装Ubuntu 13.10图文教程

之前一直在虚拟机里玩Linux了,昨天忽然兴起想往真机里装一个,昨天找到的方法,今天折腾了半天终于装好啦。

53110
来自专栏云计算教程系列

如何在Ubuntu 16.04上使用Deployer自动部署Laravel应用程序

Laravel是一个开源的PHP Web框架,旨在使常见的Web开发任务(如身份验证,路由和缓存)变得更加容易。Deployer是一个开源的PHP部署工具,为许...

44110
来自专栏从零开始学自动化测试

Selenium2+python自动化72-logging日志使用

前言 脚本运行的时候,有时候不知道用例的执行情况,这时候可以加入日志,这样出现问题后方便查阅,也容易排查哪些用例执行了,哪些没有执行。 一、封装logging模...

38650
来自专栏FreeBuf

如何在安卓移动终端进行一次渗透实验?

下面的实验将通过使用一个虚拟Android系统作为实验主体来进行展示。在这个实验中,通过使用虚拟Android系统,模拟移动终端的操作,来帮助我们逐步实现使用一...

39460

扫码关注云+社区

领取腾讯云代金券