Spark安装（单机版）
1 下载安装
官网下载
选择版本和type，这里为 spark-2.4.4-bin-without-hadoop.tgz
1.1 命令下载：
cd ~/software
wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz1.2 解压重命名：
tar -xzvf spark-2.4.4-bin-without-hadoop.tgz
mv spark-2.4.4-bin-without-hadoop.tgz spark1.3 配置环境变量：
使用vim编辑~/.bashrc文件，加入以下配置(目录换成自己的安装目录）：
export SPARK_HOME=/software/spark
export PATH=$PATH:$SPARK_HOME/bin使用source命令使配置生效：source ~/.bashrc
可以使用echo $PATH 输出查看是否正确
2 简单配置
2.1 安装scala并配置环境变量：
2.2 配置spark-env.sh：
位置：$SPARK_HOME/conf/spark-env.sh.template
命令：
cd /software/spark/conf
# 复制并重命名
cp spark-env.sh.template spark-env.sh
vim spark-env.sh配置：
# hadoop java scala等须安装好并配置好 环境变量
export JAVA_HOME=/usr/local/java/jdk1.8
export SCALA_HOME=/software/scala
export SPARK_HOME=/software/spark
# 单机版配置为本机 ip
export SPARK_MASTER_IP=127.0.0.1
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DIST_CLASSPATH=$(hadoop classpath)2.3 配置slaves：
文件位置：$SPARK_HOME/conf/slaves.template
命令：
cd /software/spark/conf
# 复制并重命名
cp slaves.template slaves
vim slaves配置：
localhost2.4 执行示例程序：
在 $SPARK_HOME/examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：
[root@VM_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
Pi is roughly 3.1369756848784243
[root@VM_0_8_centos spark]#注：执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）
2.5 执行示例程序：
# 启动shell
spark-shell
# 关闭
ctrl+dTips：常见错误
https://www.cnblogs.com/qifengle-2446/p/6424377.html
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2020-01-28，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
