win10 spark+scala+eclipse+sbt 安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/03/15/winSparkConf/

1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格

2、安装spark

2.1 下载

下载地址:http://spark.apache.org/downloads.html,我下载的是 spark-2.2.1-bin-hadoop2.7.tgz

2.2 安装

解压到指定路径下即可,比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7

2.3 配置环境变量

在系统变量Path添加一条:D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可

3、安装hadoop

3.1 下载

下载地址:https://archive.apache.org/dist/hadoop/common/(需要和spark对应的版本保持一致,我选择的hadoop-2.7.1.tar.gz)

(此链接下载较慢,可选择其他镜像下载其他版本如:http://mirror.bit.edu.cn/apache/hadoop/common/

3.2 安装

解压到指定路径下即可,比如 D:\Company\bigdata\hadoop-2.7.1

3.3 配置环境变量

在系统变量里添加 HADOOP_HOME:D:\Company\bigdata\hadoop-2.7.1

3.4 下载winutils.exe

1.下载地址:https://github.com/steveloughran/winutils(找到对应的版本下载)

  1. 将其复制到 %HADOOP_HOME% 即D:\Company\bigdata\hadoop-2.7.1\bin3.5 解决/temp/hive 不可写错误执行以下语句:D:\Company\bigdata\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/hive 即可,参考:http://mangocool.com/1473838702533.html3.6 运行验证spark在命令行输入:spark-shell,出现如下图所示即为成功(其中warn信息已在日志配置文件里去掉)
    4、安装对应版本的scala(scala-2.11.8.msi)4.1 下载下载地址:https://www.scala-lang.org/download/all.html4.2 安装一键式安装到指定目录:D:\Company\bigdata\scala4.3 配置环境变量安装过程中已经自动配好4.4 验证输入scala -version 查看版本号 ,输入scala 进入scala的环境
    5、在eclipse上安装scala插件5.1安装在Eclipse中选择Help->Install new Software
    等待一会儿:
    然后下一步下一步 中间有一个警告,点ok即可,最后根据提示重启eclipse即可安装完成5.1运行scala程序5.1.1 新建scala project
    5.1.2 将默认的sacala版本改为之前安装的版本
    5.1.3 编写salca程序,即可像运行java一样运行scala

6、安装sbt

6.1 下载(sbt-1.1.1.msi)

下载地址:https://www.scala-sbt.org/download.html

6.2 安装

一键式安装到指定目录:D:\Company\bigdata\scala-sbt

6.3 配置环境变量

SBT_HOME=D:\Company\bigdata\scala-sbt

path=%SBT_HOME%\bin

6.3 配置本地仓库

编辑:conf/sbtconfig.txt

# Set the java args to high

-Xmx512M

-XX:MaxPermSize=256m

-XX:ReservedCodeCacheSize=128m



# Set the extra SBT options

-Dsbt.log.format=true
-Dsbt.boot.directory=D:/Company/bigdata/scala-sbt/boot/
-Dsbt.global.base=D:/Company/bigdata/scala-sbt/.sbt
-Dsbt.ivy.home=D:/Company/bigdata/scala-sbt/.ivy2
-Dsbt.repository.config=D:/Company/bigdata/scala-sbt/conf/repo.properties

增加文件 conf/repo.properties

[repositories]  
local
Nexus osc : https://code.lds.org/nexus/content/groups/main-repo
Nexus osc thirdparty : https://code.lds.org/nexus/content/groups/plugin-repo/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly  
typesafe2: http://repo.typesafe.com/typesafe/releases/
sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/
sonatype: http://oss.sonatype.org/content/repositories/snapshots  
uk_maven: http://uk.maven.org/maven2/  
ibibli: http://mirrors.ibiblio.org/maven2/  
repo2: http://repo2.maven.org/maven2/

6.4 验证

输入:sbt

(第一次使用会下载复制一些文件)

7、安装eclipse的sbt插件:sbteclipse

sbteclipse是eclipse的sbt插件,但与一般eclipse插件的配置及使用并不相同。

sbteclipse项目源码托管在github上:https://github.com/typesafehub/sbteclipse

(7.1和7.2不确定是否是必须的,一台机器不需要,另一台因在~/.sbt文件下没有1.0和0.13文件夹,执行这两步即可)

7.1 下载项目

git clone https://github.com/sbt/sbteclipse.git

或下载zip再解压

7.2 编译

进入到sbteclipse目录下,输入

sbt compile

7.3 添加全局配置文件

新建:~/.sbt/1.0/plugins/plugins.sbt(网上好多说是:~/.sbt/0.13/plugins/plugins.sbt,但我两个电脑都不行)

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4")

7.4 进入到之前创建的项目ScalaDemo目录下

添加sbt配置文件build.sbt

name := "ScalaDemo"
 
version := "1.0"
 
scalaVersion := "2.11.8"
 
javacOptions ++= Seq("-source", "1.8", "-target", "1.8")

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.2.1"

)

输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了

7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了

8、 如果想调用本地spark,在SparkConf或者在SparkSession设置matser为local(本地模式)即可

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏决胜机器学习

《Redis设计与实现》读书笔记(三十二) ——Redis事务设计与实现

《Redis设计与实现》读书笔记(三十二) ——Redis事务设计与实现 (原创内容,转载请注明来源,谢谢) 一、概述 redis的事务同数据...

3455
来自专栏野路子程序员

PHP错误日志,解决不显示不记录日志文件等疑难杂症

8726
来自专栏JavaQ

Linux常用操作命令

整理了一些Linux的常用操作命令,需要熟记。技术分享微信公众号:JavaQ ,欢迎围观哦! man rm ( rm --help ) 查看帮助 cd ...

2813
来自专栏北京马哥教育

243张图片为你解析Linux轻量级自动运维化工具Ansible

基于Python语言研发,由Paramiko, PyYAML和Jinja2三个核心库实现;

1992
来自专栏从零学习云计算

Centos7.2学习记录(3)——搭建本地yum仓库

入职以来,由于公司云主机运行在内网环境下,在搭建kubernetes和openshift集群时都需要进行离线安装,这里粗略记录一下本地yum仓库的搭建过程。 ...

4140
来自专栏Laoqi's Linux运维专列

shell命令基本知识点

命令历史 # cat /root/.bash_history       //存放历史命令的地方 # history      //查看命令历史的条数 # ec...

3668
来自专栏Android机动车

Android开发环境搭建

因此,我们这篇文章将从JDK和AndroidStudio两个方面来讲解Android开发环境的搭建。

1684
来自专栏Maroon1105

使用TCP Wrappers保护您的Linode

TCP包装器是基于主机的访问控制系统。它们用于通过仅允许特定客户端访问服务器上运行的服务来防止对服务器的未授权访问。

1272
来自专栏我的博客

Python上传文件到FTP服务器

代码在python2.7下测试通过!写在最前面! # -*- coding: UTF-8 -*- from ftplib import FTP import o...

7356
来自专栏土豆专栏

Java面试之Linux常用命令

原作者:https://www.cnblogs.com/yjd_hycf_space/p/7730690.html

1651

扫码关注云+社区

领取腾讯云代金券