Ubuntu 16.04 Spark单机环境搭建

说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。

安装Java SE

1、下载JAVA SE linux版本。下载地址为: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意选择Linux版本,根据机器类型选择32位或者64位。

2、下载jdk-8u131-linux-x64.tar.gz后,解压到自己指定目录。

$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java

3、配置JAVA环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export JAVA_HOME=/usr/lib/java/jdk1.8.0_131 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测java是否成功安装。

$ java -version
java version "1.8.0_131"

如果显示了java安装的版本,则表示已正确安装,可以进行下一步了。

安装Scala

1、下载Scala的压缩文件。下载地址为: http://www.scala-lang.org/download/

2、下载scala-2.12.2.tgz后,解压到指定的目录:

$ tar -zxvf scala-2.12.2.tgz -C /opt/scala/

3、配置scala环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SCALA_HOME=/opt/scala/scala-2.12.2 
export PATH=${SCALA_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测scala是否正确安装。

$ scala -version
Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc

若显示如上信息,则表示scala已安装正确。

安装Spark

1、下载Spark的压缩文件。下载地址为: http://spark.apache.org/downloads.html

2、下载spark-2.1.1-bin-hadoop2.7.tgz后,解压到指定的目录:

$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/

3、配置scala环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、检测spark是否正确安装。

$ spark-shell

如果出现如下界面,则表示spark已正确安装:

安装sbt

1、下载Spark的压缩文件。下载地址为: http://www.scala-sbt.org/download.html

2、下载sbt-0.13.15.tgz后,解压到指定的目录:

$ tar -zxvf sbt-0.13.15.tgz -C /opt/scala/sbt/

3、配置sbt环境变量。

打开.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下内容:

export SBT_HOME=/opt/scala/sbt
export PATH=${SBT_HOME}/bin:$PATH 

保存后退出,运行如下命令,使修改环境变量即可生效:

$ source ~/.bashrc

4、建立启动sbt的脚本。

$ mkdir /opt/scala/sbt/ 
$ cd /opt/scala/sbt/ 
$ touch sbt  

脚本内容如下,注意sbt-launch.jar的路径

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" 
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 

修改sbt文件的权限

$ chmod u+x sbt 

5、检测sbt是否正确安装。

$ sbt sbt-version
[info] 0.13.15

第一次执行的时候会下载很多东西,不用管它,后来就好了。 如果出现sbt的版本信息就表示安装成功。

至此,Linux下Spark单机环境已经成功搭建完毕!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Rovo89

配置React开发环境教程

942
来自专栏小狼的世界

Mac下使用Phonegap(Apache Cordorva)开发iOS应用

Phonegap自从捐赠给Apache基金会后,改名字为Cordova了,文章发表时的稳定版本是 2.6.0 。

1112
来自专栏wannshan(javaer,RPC)

dubbo路由机制分析2(路由设置存储)

接上次 https://cloud.tencent.com/developer/article/1109552 目前dubbo支持的路由类型分三种condito...

2694
来自专栏JackieZheng

Spring集成RabbitMQ-使用RabbitMQ更方便

如果提到Spring,你脑海中对他的印象还停留在SSH三大框架之一,那或许你该好好重新认识这个家伙。 在IT技术日新月异的今天,他还能让你忘不了并与他朝夕相处,...

1769
来自专栏听雨堂

异步Socket处理的一些测试值

客户端进行发送,服务器端将相同的数据回发到客户端。记录收发的次数。 1. 如果进行较大规模的UI处理(在TextBox中显示接收内容),将会大大降低响应时间,...

1855
来自专栏分布式系统和大数据处理

Kafka分布式消息系统(搭建Kafka集群) - Part.3

在前面两篇文章中,我们了解了基本概念,也安装、配置好了zookeeper集群,在这篇文章中,我们将一步步搭建kafka集群。

613
来自专栏Nian糕的私人厨房

WebPack 模块化打包工具(上)

本篇博文的内容根据 入门 Webpack,看这篇就够了 该篇文章总结而来,其代码、模块示例、功能拓展部分均有所删减,若是想了解更多关于 WebPack 的详细内...

705
来自专栏大数据学习笔记

Java程序设计(Java9版):第1章 Java开发环境配置 (Set up Java development environment)

第1章Java开发环境配置(Set up Java development environment) 工欲善其事,必先利其器。 — 《论语·卫灵公》 ...

23510
来自专栏云计算教程系列

如何在CentOS 7上使用OpenLiteSpeed安装WordPress

WordPress是目前世界上最受欢迎的内容管理系统(CMS)。它允许您在数据库后端轻松设置博客和网站,使用PHP执行脚本和处理动态内容。WordPress有一...

762
来自专栏纯洁的微笑

springboot(一):入门篇

什么是spring boot Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使...

2747

扫码关注云+社区