官网下载spark,本文使用2.4.8
截屏2021-06-17 09.30.17.png
安装spark到/usr/local/ terminal中定位到spark-2.4.8-bin-hadoop2.7.tgz目录,移动spark-2.4.8-bin-hadoop2.7.tgz到/usr/local
rm spark-2.4.8-bin-hadoop2.7.tgz /usr/local
解压缩spark-2.4.8-bin-hadoop2.7.tgz
安装pyspark(本文使用python3,且mac自带python 2.7)
pip3 install pyspark
设置环境变量 打开~/.bash_profile
vim ~/.bash_profile
添加
export SPARK_HOME=/usr/local/spark-2.4.8-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
使环境变量生效
source ~/.bash_profile
在terminal中输入
pyspark
截屏2021-06-17 09.33.45.png
出现这个界面就安装好了