Spark|Ubuntu环境搭建

在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala ,以及spark的下载链接,

JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala:http://www.scala-lang.org/download/

安装JDK

首先我们先来安装jdk, 在如下的目录创建一个jdk文件夹:

sudo mkdir /usr/lib/jdk

用这条语句来创建jdk的安装目录,这里我们计划装到/usr/lib/jdk目录下.

然后切换到jdk压缩包所在的目录,比如这里我们把包放在了~/Desktop目录,

cd ~/Desktop

执行解压缩命令,把压缩包解压缩到/usr/lib/jdk目录下:

sudo tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jdk

注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据 。

然后我们需要配置PATH路径,让jdk命令在任何路径下都能够直接执行

sudo vim /etc/profile

/etc/profile的改动在重启之后会对所有用户都起作用 ,在配置文件的最后加上:

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

JAVA_HOME的路径根据自己解压缩的目录来配置。

然后按esc退出编辑模式,进入命令模式,输入:w 保存,然后 :q 退出vim编辑器,

source /etc/profile

如果出现一大串东西,那么恭喜你你的jdk安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。

安装Scala

同样的方法安装scala

安装Spark

同样的方法安装spark

出现上图,说明spark安装成功。

原文发布于微信公众号 - 算法channel(alg-channel)

原文发表时间:2018-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏趣谈编程

Debug JDK源码没变量值怎么办?

对于程序员而言,阅读源码是一个非常重要的能力,相信Java程序员最常看的就是JDK的源码了,但有时候我们想具体看看源码在运行时某个变量的值,就会发现Debug时...

1643
来自专栏令仔很忙

新手学Linux(八)----MySql安装(Centos7)

最近项目新申请了云服务器,老大让我搭了下环境,在安装MySql的时候遇到的坑稍微多点,所以在这里做个记录,我的安装方式不是通过安装包来安装的,而是通过yum来...

1371
来自专栏xingoo, 一个梦想做发明家的程序员

CentOS6.5下安装JDK

之前一直没有完全的总结出一篇关于Linux下安装Java的过程,今天正好就整理下。 下载jdk 如果在官网下载比较慢,那么可以到我的云盘分享上,下载jdk...

2356
来自专栏梧雨北辰的开发录

Python学习(2):环境安装与运行一、Windows安装Python二、Mac OS与Linux安装Python三、Python的三种运行方式

2183
来自专栏程序猿DD

Spring Cloud构建微服务架构:消息驱动的微服务(消费分区)【Dalston版】

通过上一篇《消息驱动的微服务(消费组)》的学习,我们已经能够在多实例环境下,保证同一消息只被一个消费者实例进行接收和处理。但是,对于一些特殊场景,除了要保证单一...

3484
来自专栏加米谷大数据

MongoDB 安装和可视化工具

MongoDB 是一款非常热门的NoSQL,面向文档的数据库管理系统,我选择的是 Enterprise Server (MongoDB 3.2.9)版本,安装在...

3051
来自专栏IT可乐

Linux系列教程(十五)——Linux用户和用户组管理之用户管理命令

  上篇博客我们介绍了用户管理的相关配置文件,包括用户信息文件/etc/passwd,用户密码文件/etc/shadow;然后介绍了用户组信息文件/etc/gr...

2379
来自专栏散尽浮华

linux下安装php的swoole扩展模块(安装后php加载不出来?)

应开发同事要求,需要安装php的扩展模块swoole。 swoole是一种PHP高级Web开发框架,框架不是为了提升网站的性能,而是为了提升网站的开发效率,以...

2775
来自专栏Linux驱动

linux下使用gcc编译运行C程序

gcc(GNU Compiler Collection)是Linux下最常用的C语言编译器,是GNU项目中符合ANSI C标准的编译系统,能够编译用C、C++和...

2939
来自专栏农夫安全

Knock 子域名扫描工具

Knock是一款Python编写的工具,通过单词列表来枚举目标域上的子域。扫描DNS区域传输,并尝试绕过通配DNS记录。再最新版本中knockpy支持查询Vir...

6943

扫码关注云+社区

领取腾讯云代金券