如何使用Intellij搭建Spark开发环境

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spark开发环境。

  • 文档概述

1.安装Intellij

2.安装Scala插件

3.测试Scala环境

4.集成Spark开发环境

  • 测试环境

1.Jdk1.8.0_20

2.Scala2.10.5

3.Spark1.6.3 on Hadoop2.6.5

  • 前置条件

1.Java环境变量

2.Scala环境变量

3.spark-assembly jar包

2.安装Intellij工具


1.下载Intellij开发工具

下载地址:

http://www.jetbrains.com/idea/download

Intellij版本分为Ultimate和Community,根据自己的需要选择下载

下载完成后双击打开,下一步下一步完成,到此就完成Intellij的安装。

2.获取注册码

如果下载的Ultimate版,需要注册码,注册码可以如下方式获取

注册码地址:http://idea.lanyus.com/

3.安装Scala插件


Scala插件安装分为在线和离线两种方式,网络不稳定时在线安装经常失败,可以选择在官网下载离线安装包,使用离线方式安装。

1.打开Intellij->preferneces->plugins

2.在线安装Scala插件

选择Install JetBrains Plugin安装

3.离线安装

  • 下载离线安装包

通过在线安装的方式可以获取到插件版本及插件下载地址

离线包下载地址:https://plugins.jetbrains.com/plugin/1347-scala

注意:离线包与插件源里面的版本必须一致,否则会安装失败。

  • 选择Install plugin from disk..

安装成功

安装成功后重启Intellij。

4.测试Scala环境


  1. 创建一个scala工程

2.点击“Next”,输入工程名称并选择ScalaSDK版本

注:Scala SDK需要到Scala官网下载相应的版,此处使用的版本为2.10.5

SDK下载地址:http://www.scala-lang.org/download/all.html

3.工程创建完成,测试Scala代码

5.集成Spark开发环境


1.首先在spark官网下载spark的jar包,根据自己集群环境下载相应的spark版本,这里我下载的是spark1.6.3与hadoop2.6.5版本

2.将下载下来的spark-1.6.3-bin-hadoop2.6.tgz解压到本地磁盘目录下,在目录中找到spark-assembly-1.6.3-hadoop2.6.0.jar加到myscala工程依赖中

3.添加依赖后,编写spark编码测试,spark环境是否正常

到此Intellij 的Spark Scala开发环境搭建完成。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-10-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏赵俊的Java专栏

Hadoop 伪分布式环境搭建

1502
来自专栏Hadoop实操

如何将HDFS文件系统挂载到Linux本地文件系统

Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过...

1.3K7
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

1485
来自专栏L宝宝聊IT

案例:HDFS分布式文件系统

2005
来自专栏KaliArch

大数据平台CDH搭建

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,...

4175
来自专栏Hadoop实操

如何在Azkaban安装插件(二)

前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》及《如何在Azkaban中安装HDFS插件以及与CDH集成》,我们知道A...

2.2K11
来自专栏北京马哥教育

CentOS 6.5上搭建Hadoop环境详解

本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及...

3325
来自专栏pangguoming

CentOS 7安装Hadoop 3.0.0

最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

40910
来自专栏IT技术精选文摘

Hadoop完全分布式搭建

5442
来自专栏AILearning

Apache Zeppelin 中 HDFS文件系统 解释器

概述 Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduce和Apache Spark或Allux...

2495

扫码关注云+社区