环境准备
[hadoop@hadoop01 soft]$ tar zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /home/hadoop/apps/
# 解压后如果感觉安装目录的名称太长可以修改一下
[hadoop@hadoop01 soft]$ cd /home/hadoop/apps/
[hadoop@hadoop01 apps]$ mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0
# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh
[hadoop@hadoop01 apps]$ cd spark-2.2.0/conf
[hadoop@hadoop01 conf]$ mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh配置文件,添加如下内容
[hadoop@hadoop01 conf]$ vim spark-env.sh
# 配置JAVA_HOME,一般来说,不配置也可以,但是可能会出现问题,还是配上吧
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
# 一般来说,spark任务有很大可能性需要去HDFS上读取文件,所以配置上
# 如果说你的spark就读取本地文件,也不需要yarn管理,不用配
export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.4/etc/hadoop
# 每一个Worker最多可以使用的cpu core的个数,我虚拟机就一个...
# 真实服务器如果有32个,你可以设置为32个
export SPARK_WORKER_CORES=1
# 每一个Worker最多可以使用的内存,我的虚拟机就2g
# 真实服务器如果有128G,你可以设置为100G
export SPARK_WORKER_MEMORY=1g
# 在非HA配置中,配置了SPARK_MASTER_HOST和SPARK_MASTER_PORT
# HA就不用了,让Zookeeper来管理
# 设置zookeeper集群的地址,这个配置有点长,但一定要写到一行
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/spark/ha"
[hadoop@hadoop01 conf]$ mv slaves.template slaves
[hadoop@hadoop01 conf]$ vim slaves
# 里面的内容原来为localhost
hadoop01
hadoop02
hadoop03
hadoop04
比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh
原因:
如果集群中也配置HADOOP_HOME,那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件,当你执行这两个文件,系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了,当然,不修改的话,你需要进入它们的sbin目录下执行这些文件,这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。
[hadoop@hadoop01 conf]$ cd ../sbin
[hadoop@hadoop01 sbin]$ mv start-all.sh start-spark-all.sh
[hadoop@hadoop01 sbin]$ mv stop-all.sh stop-spark-all.sh
[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop02:`pwd`
[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop03:`pwd`
[hadoop@hadoop01 apps]$ scp -r spark-2.2.0 hadoop04:`pwd`
[hadoop@hadoop01 conf]$ vim ~/.bash_profile
export SPARK_HOME=/home/hadoop/apps/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
[hadoop@hadoop01 conf]$ source ~/.bash_profile
# 其他节点也都配置...
[hadoop@hadoop01 ~]$ zkServer.sh start
# 其他zookeeper节点也要启动...
# 最好也启动hadoop集群
[hadoop@hadoop01 conf]$ start-master.sh
[hadoop@hadoop02 ~]$ start-master.sh
[hadoop@hadoop01 ~]$ start-slaves.sh
正常的进程显示:
挂掉Active Master
[hadoop@hadoop01 ~]$ jps
5873 Jps
5125 QuorumPeerMain
5639 Master
5752 Worker
[hadoop@hadoop01 ~]$ kill -9 5639
hadoop01已经不能访问了:
hadoop02变成了Active Master
启动hadoop01的master进程
[hadoop@hadoop01 ~]$ start-master.sh
hadoop01变成了Standby Master:
spark HA集群搭建成功!