CentOS6.8_Spark单机部署

首先需要JDK
下载安装JDK
下载spark
wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz
创建安装目录
mkdir /software
移动安装文件到新建目录
mv ./spark-1.6.3-bin-hadoop2.6.tgz /sortware/
切换目录
cd /software
解压
tar xzvf spark-1.6.3-bin-hadoop2.6.tgz
cd spark-1.6.3-bin-hadoop2.6.tgz
pwd
复制打印出来的地址
修改配置文件 conf/
mv spark-env.sh.template spark-env.sh

我们默认安装不用修改目录

配置环境变量 vim /etc/profile
export SPARK_HOME=/software/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使环境变量生效

source /etc/profile

执行测试
spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.3-hadoop2.6.0.jar

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏YG小书屋

spark任务提交时绝对路径添加额外配置文件提示找不到路径

3173
来自专栏JavaEdge

Jedis连接池1. 什么是连接池2. Jedis的连接池3. 源码解析4. 总结

3875
来自专栏大数据-Hadoop、Spark

day3-Akka实现RPC通信框架

代码: https://github.com/cyofeiyue/MyRPC 1.Akka配置信息 //Master akka.actor.provider ...

3638
来自专栏java架构师

Windows平台下安装Hadoop

1、安装JDK1.6或更高版本   官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配...

34911
来自专栏黑白安全

Meterpreter 端口转发

如何转发无法远程访问的本地端口。在本地计算机上运行特定服务。在本地网络上,这些服务通常是用于在本地计算机上访问,外网是不能访问的,比如MySQL服务器。出于安全...

1163
来自专栏Jed的技术阶梯

Spark HA集群搭建

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因: 如果集群中也配置HADOOP_HOME,那么在...

3623
来自专栏张善友的专栏

在Windows 8 Hyper-V下的安装CentOS 6和SSH配置

在Windows 8下的Hyper-V已经支持很多Linux发行版了, 其下的安装也大同小异,唯一的要注意是单独下载安装Hyper for linux的集成服务...

2356
来自专栏KaliArch

Python实现端口检测

在平时工作中有遇到端口检测,查看服务端特定端口是否对外开放,常用nmap,tcping,telnet等,同时也可以利用站长工具等web扫描端口等。

4343
来自专栏IT开发技术与工作效率

东软邮箱设置 NeuSoft OutLook

1.1K4
来自专栏CSDN技术头条

编译器LLVM3.8发布

LLVM编译器发布3.8版本了,主要是对以前版本各项性能的优化,以及对之前版本的升级。最新的发布日志可以查看这里。 这次发布的主要变化有: 这次版本要求...

1897

扫码关注云+社区

领取腾讯云代金券