Spark 集群环境部署

本篇主要记录一下Spark 集群环境搭建过程以及在搭建过程中所遇到的问题及解决方案

主体分为三步 ：

一 ：基础环境配置

二 ：安装包下载

三 ：Spark 集群配置文件修改

四 ：启动spark master / slaves

五 ：编写脚本

一 ：基础环境配置

本部分具体步骤可以参考Hadoop集群搭建中的前半部分关于Linux环境搭建以及系统环境配置

二 ：安装包下载

下载链接 ：http://spark.apache.org/downloads.html

在这里选择Spark对应的Hadoop版本

三 ：Spark配置修改

需要修改的文件：

1：conf/spark-env

2 : conf/slaves

3 : sbin/spark-config.sh

Spark-env 配置

export SPARK_MASTER_IP=hadoop01 // spark master进程运行节点地址 export SPARK_MASTER_PORT=7077 // spark master进程运行节点端口 export SPARK_WORKER_CORES=1 // 每个work使用的核数 export SPARK_WORKER_INSTANCES=1 // 每个节点运行的work数量 export SPARK_WORKER_MEMORY=512m // 每个节点运行work使用的内存大小

slaves配置

添加spark slaves节点host节点

hadoop01

hadoop02

hadoop03

四 ：启动Spark master slaves

可以单独启动master ./sbin/start-master.sh

单独启动slave ./sbin/start-slave.sh

或者一键全部启动 ./sbin/start-all.sh

有一处错误提示 hadoop01 JAVA_HOME is not set

进入hadoop01节点,在spark-env.sh 出添加JAVA_HOME=/home/opt/java JDK目录

然后再次启动成功 ：

打开浏览器访问hadoop01:8080或者 192.168.17.140:8080

可以看到spark的运行信息

liubin

异常处理 ：

1 ：异常信息 ：在启动( start-all.sh )时，master节点 master和word进程都启动成功,但是另外两个节点work进程一直启动不起来，异常信息如下： Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream

解决方式 ：

1 ：将master的防火墙关闭

2 ：检查slave节点的spark文件是否与master节点的文件一致，我这里导致的问题是从master节点分发到slave节点时，过程中断导致缺少文件

2 ：异常信息 ：在启动spark-shell时，报如下的异常

解决方式 ：

1 ：首先查看问题的描述，注意查看最下端的error

异常提示提炼出来如下几句：

java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:

Caused by: java.lang.RuntimeException: java.net.ConnectException: Call From hadoop01/192.168.17.140 to hadoop01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

<console>:14: error: not found: value spark import spark.implicits._ ^ <console>:14: error: not found: value spark import spark.sql ^

解决思路：

1：定位问题，第一段提示初始化hivesessinstate异常

2：从hadoop01连接到9000失败

3：没有找到spark.implicits._ ，spark.sql 包

解决:

起初以为是版本问题，就重新下载了一个版本，并且将本机的hadoop所有相关进程全部暂停，结果新版本本机启动依旧是这个问题

在仔细查看了一下配置，没有对于9000端口的配置，9000端口是hdfs core-site.xml 中的配置 ，经过上网查看资料得知，spark-shell启动时，会检测hadoop环境，如果检测到有hadoop就会去试图链接hadoop。

解决方法 ：

1 ：确保期间，重启所有节点

2 ：删除 /tmp 下的所有文件

3 ：namenode 格式化

4 : 启动hadoop所有进程

5 ：启动spark-shell 成功