Spark伪分布式集群搭建

[root@repo soft]# tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/

# 解压后如果感觉安装目录的名称太长可以修改一下
[root@repo soft]# cd /opt
[root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh
[root@repo opt]# cd spark-2.2.0/conf/
[root@repo conf]# cp spark-env.sh.template spark-env.sh

# 修改spark-env.sh配置文件，添加如下内容
[root@repo conf]# vim spark-env.sh

# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上
# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配
export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop

# 设置Master的主机名
export SPARK_MASTER_HOST=repo
# 提交Application的端口，默认就是这个，万一要改呢，改这里
export SPARK_MASTER_PORT=7077
# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个...
# 真实服务器如果有32个，你可以设置为32个
export SPARK_WORKER_CORES=1
# 每一个Worker最多可以使用的内存，我的虚拟机就2g
# 真实服务器如果有128G，你可以设置为100G
export SPARK_WORKER_MEMORY=2g

[root@repo conf]# cp slaves.template slaves
[root@repo conf]# vim slaves

# 里面的内容原来为localhost，改为repo
repo

# 伪分布式就一台机器，用localhost也可以
# 但我们毕竟搭建的是伪分布式集群，注意，是集群
# 改成repo心里可能更相信它是一个分布式集群

[root@repo conf]# vim /etc/profile

export SPARK_HOME=/opt/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[root@repo conf]# source /etc/profile

[root@repo conf]# cd /opt/spark-2.2.0/sbin/
[root@repo sbin]# ./start-all.sh

[root@repo sbin]# mv start-all.sh start-spark-all.sh
[root@repo sbin]# mv stop-all.sh stop-spark-all.sh

[root@repo sbin]# start-spark-all.sh

[root@repo sbin]# jps
8576 Jps
8449 Master
8504 Worker