前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark|Ubuntu环境搭建

Spark|Ubuntu环境搭建

作者头像
double
发布2018-04-02 16:51:12
8110
发布2018-04-02 16:51:12
举报
文章被收录于专栏:算法channel算法channel算法channel

在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala ,以及spark的下载链接,

JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala:http://www.scala-lang.org/download/

安装JDK

首先我们先来安装jdk, 在如下的目录创建一个jdk文件夹:

sudo mkdir /usr/lib/jdk

用这条语句来创建jdk的安装目录,这里我们计划装到/usr/lib/jdk目录下.

然后切换到jdk压缩包所在的目录,比如这里我们把包放在了~/Desktop目录,

cd ~/Desktop

执行解压缩命令,把压缩包解压缩到/usr/lib/jdk目录下:

sudo tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jdk

注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据 。

然后我们需要配置PATH路径,让jdk命令在任何路径下都能够直接执行

sudo vim /etc/profile

/etc/profile的改动在重启之后会对所有用户都起作用 ,在配置文件的最后加上:

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

JAVA_HOME的路径根据自己解压缩的目录来配置。

然后按esc退出编辑模式,进入命令模式,输入:w 保存,然后 :q 退出vim编辑器,

source /etc/profile

如果出现一大串东西,那么恭喜你你的jdk安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。

安装Scala

同样的方法安装scala

安装Spark

同样的方法安装spark

出现上图,说明spark安装成功。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-01-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序员郭震zhenguo 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档