Ubuntu 16.04 Spark单机环境搭建

说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。

安装Java SE

1、下载JAVA SE linux版本。下载地址为: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意选择Linux版本,根据机器类型选择32位或者64位。

2、下载jdk-8u131-linux-x64.tar.gz后,解压到自己指定目录。

$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java

3、配置JAVA环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export JAVA_HOME=/usr/lib/java/jdk1.8.0_131 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测java是否成功安装。

$ java -version
java version "1.8.0_131"

如果显示了java安装的版本,则表示已正确安装,可以进行下一步了。

安装Scala

1、下载Scala的压缩文件。下载地址为: http://www.scala-lang.org/download/

2、下载scala-2.12.2.tgz后,解压到指定的目录:

$ tar -zxvf scala-2.12.2.tgz -C /opt/scala/

3、配置scala环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SCALA_HOME=/opt/scala/scala-2.12.2 
export PATH=${SCALA_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测scala是否正确安装。

$ scala -version
Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc

若显示如上信息,则表示scala已安装正确。

安装Spark

1、下载Spark的压缩文件。下载地址为: http://spark.apache.org/downloads.html

2、下载spark-2.1.1-bin-hadoop2.7.tgz后,解压到指定的目录:

$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/

3、配置scala环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测spark是否正确安装。

$ spark-shell

如果出现如下界面,则表示spark已正确安装:

安装sbt

1、下载Spark的压缩文件。下载地址为: http://www.scala-sbt.org/download.html

2、下载sbt-0.13.15.tgz后,解压到指定的目录:

$ tar -zxvf sbt-0.13.15.tgz -C /opt/scala/sbt/

3、配置sbt环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SBT_HOME=/opt/scala/sbt
export PATH=${SBT_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、建立启动sbt的脚本。

$ mkdir /opt/scala/sbt/ 
$ cd /opt/scala/sbt/ 
$ touch sbt  

脚本内容如下,注意sbt-launch.jar的路径

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" 
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 

修改sbt文件的权限

$ chmod u+x sbt 

5、检测sbt是否正确安装。

$ sbt sbt-version
[info] 0.13.15

第一次执行的时候会下载很多东西,不用管它,后来就好了。 如果出现sbt的版本信息就表示安装成功。

至此,Linux下Spark单机环境已经成功搭建完毕!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Android干货

Android项目实战(二十四):项目包成jar文件,并且将工程中引用的jar一起打入新的jar文件中

664
来自专栏数据库

Mysql自动化快速安装部署

Mysql自动化快速安装部署 一、简介 软件开发实际生产测试过程中,时常用到Mysql数据库,人工的去部署和安装新的Mysql服务器,不仅配置复杂过程缓慢,并且...

2456
来自专栏Youngxj

QQ网址强制变XML卡片消息工具

1.3K6
来自专栏黑白安全

渗透测试之端口转发与代理 常用端口转发方法

如果Client要对Server的多个端口进行扫描(或是多个Server的多个端口),逐个配置转发规则很不现实。

1263
来自专栏我的小碗汤

神器 | windows包管理工具

在类Unix系统中,我们可以使用例如port、apt-get、yum此类包管理工具,对应用进行快速便捷的安装。在Windows平台,通过chololate,我们...

1023
来自专栏逸鹏说道

CentOS 7 Root用户密码重置

跨平台系列汇总:http://www.cnblogs.com/dunitian/p/4822808.html#linux 开机的时候按e (如果正在使用,你可以...

3286
来自专栏13blog.site

IntelliJ IDEA编译项目报错 "xxx包不存在" 或 "找不到符号"

在维护一个新的项目时出现在的这个情况,项目构建时一直报错"xxx包找不到",但是引用的包和引用的类都是存在的,一开始以为是项目问题,还问了做过的同事,第一次搞好...

2006
来自专栏性能与架构

如何保证redis的安全?

redis的作者的理念是‘简洁为美’,所以并没有为redis设计复杂的安全配置 redis需要运行在安全的环境下,要做好redis外部的安全工作,例如不使用re...

34314
来自专栏帘卷西风的专栏

关于VS2012加载项目失败解决办法

712
来自专栏云计算教程系列

如何在Ubuntu 18.04上启用没有Shell访问权限的SFTP

SFTP代表S SH F ile T ransfer P rotocol。顾名思义,这是一种使用加密SSH连接在计算机之间传输文件的安全方法。尽管名称如此,但它...

1770

扫码关注云+社区