目录
本文基于 Spark 2.4.1 进行演示,相关代码可以在我的Github上看到。
Spark是一个分布式集群计算系统,类似Hadoop提供了强大的分布式计算能力,相比过去的批量处理系统,提供了处理更大规模数据的能力。Spark提供了Java、Python、Scala、R接口。除常见的MapReduce运算外,还支持图、机器学习、SparkSQL等计算方式。
首先从Spark官方网站下载合适的版本,解压到安装目录,本文使用的是 2.4.1。
配置环境变量 ~/.bash_profile
export SPARK_HOME=/Users/shiqiang/Projects/tools/spark-2.4.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin
本机的安装目录
~/Project/tools
在Mac系统管理中打开Mac远程登录设置,允许安装用户远程登录。
启动命令
$ ./sbin/start-all.sh
$ jps
21731 Jps
21717 Worker
21515 Master
使用JPS命令可以看到Master和Worker已经启动。也可以单独启动master./sbin/start-master.sh
,单独启动Worker
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077
停止服务的方式也非常简单
$ ./sbin/stop-all.sh