专栏首页算法channelSpark|Ubuntu环境搭建

Spark|Ubuntu环境搭建

在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala ,以及spark的下载链接,

JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala:http://www.scala-lang.org/download/

安装JDK

首先我们先来安装jdk, 在如下的目录创建一个jdk文件夹:

sudo mkdir /usr/lib/jdk

用这条语句来创建jdk的安装目录,这里我们计划装到/usr/lib/jdk目录下.

然后切换到jdk压缩包所在的目录,比如这里我们把包放在了~/Desktop目录,

cd ~/Desktop

执行解压缩命令,把压缩包解压缩到/usr/lib/jdk目录下:

sudo tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jdk

注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据 。

然后我们需要配置PATH路径,让jdk命令在任何路径下都能够直接执行

sudo vim /etc/profile

/etc/profile的改动在重启之后会对所有用户都起作用 ,在配置文件的最后加上:

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

JAVA_HOME的路径根据自己解压缩的目录来配置。

然后按esc退出编辑模式,进入命令模式,输入:w 保存,然后 :q 退出vim编辑器,

source /etc/profile

如果出现一大串东西,那么恭喜你你的jdk安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。

安装Scala

同样的方法安装scala

安装Spark

同样的方法安装spark

出现上图,说明spark安装成功。

本文分享自微信公众号 - 算法channel(alg-channel),作者:alg-flody

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 互联网新闻情感分析比赛,复赛第8名(8/2745)解决方案及总结

    本次比赛的任务是对给定文本进行情感极性分析,情感极性包括正中负三类。这次比赛我的成绩是复赛第8名(共2745支参赛队伍,实际有效提交851个提交)。借助分享本次...

    double
  • 3800 字 Python 流程控制专题总结

    今天流程控制专题 流程控制与代码的执行顺序息息相关,流程控制相关的关键字,如if,elif,for,while,break,continue,else,retu...

    double
  • Spark|有向无环图(DAG)检测

    01 — Spark背景介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环...

    double
  • Appium+python自动化(八)- 初识琵琶女Appium(千呼万唤始出来,犹抱琵琶半遮面)- 下(超详解)

      通过上一篇宏哥给各位小伙伴们的引荐,大家移动对这位美女有了深刻的认识,而且她那高超的技艺和婀娜的身姿久久地浮现在你的脑海里,是不是这样呢???不要害羞直接告...

    北京-宏哥
  • 【Postgres扩展】pg_auto_failover支持高可用性和自动故障转移

    作为Citus团队的一员(Citus横向扩展Postgres,但这不是我们要做的全部),我从事pg_auto_failover已有相当一段时间了,我很高兴我们现...

    首席架构师智库
  • CV学习笔记(十二):图像金字塔

    尺度,顾名思义就是说图像的尺寸和分辨率。在我们进行图像处理的时候,会经常对源图像的尺寸进行放大或者缩小的变换,进而转换为我们指定尺寸的目标图像。在对图像进行放大...

    云时之间
  • 水果的游戏开发总结

    不过,周末还是能抽出点时间做点小玩意,这次做的也是小游戏,也是画线类游戏,不过这次庆幸的是有两位可爱的设计师妹纸(贝贝和王子)帮忙做的设计,整个游戏是可爱的风格...

    花叔
  • Ceph的磁盘管理tips

    换盘的时候一定要验明正身,原生的ceph-disk方式对磁盘分区的信息标记实在是太粗糙,很容易看花眼,比如下面这个例子,虽然通过PARTLABEL可以区分jou...

    用户1260683
  • DNS上线之路(五)——DNS视图

    智能DNS是域名服务在业界首创的智能解析服务。能自动判断访问者的IP地址并解析出对应的IP地址,使网通用户会访问到网通服务器,电信用户会访问到电信服...

    江小白
  • GCS游戏链公链上线发布,步入区块链游戏新时代

    GCS主链拥有每秒3300TPS的吞吐性能,理论峰值最高可达100000笔。做为底层应用公链时期的重要节点,GCS主链通过互操作接口实现了区块链技术与传统游戏的...

    区块链领域

扫码关注云+社区

领取腾讯云代金券