Mac搭建Spark环境

版权声明：本文为博主-姜兴琪原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1423508

一、首先搭建hadoop环境

https://cloud.tencent.com/developer/article/1514201

二、安装scala

命令行执行：brew install scala

执行完成后，终端输入：scala -version 进行查看，如下表明安装成功：

jiangxingqideMacBook-Pro:~ jiangxingqi$ scala -version
Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

然后在环境变量中增加scala相关的变量，命令行输入：vim ~/.bash_profile进行编辑，增加环境变量：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.8
export PATH=$PATH:$SCALA_HOME/bin

三、安装spark

1、安装spark 

进入Apache Spark官网进行Spark的下载，附Spark官网下载地址：http://spark.apache.org/downloads.html

下载完之后解压，并将解压后的文件夹移动到/usr/local/目录下，然后cd /usr/local进入到/usr/local目录下，使用命令更改该目录下的spark文件夹名称：sudo mv ./spark-2.0.2-bin-hadoop2.7   ./spark  将文件夹名称改为 spark 。

2、 配置环境变量

命令行输入：vim ~/.bash_profile进行编辑，增加环境变量：

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

然后保存退出，执行source  ~/.bash_profile，使之生效。

5.3  配置spark-env.sh

进入到Spark目录的conf配置文件中:cd /usr/local/spark/conf，执行命令:cp spark-env.sh.template spark-env.sh将spark-env.sh.template拷贝一份，然后打开拷贝后的spark-env.sh文件:vim spark-env.sh，在里面加入如下内容:

export SCALA_HOME=/usr/local/Cellar/scala/2.12.6

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4G

配置好之后，命令行执行：spark-shell，如果出现如下所示的画面，就表明spark安装成功了：

至此mac下spark单机环境就搭建完成了，以后就可以在spark shell中进行练习了。