idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

idea中使用scala运行spark出现:

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

  显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏梦里茶室

git/github 笔记

2016-1-9 创建github repos并提交修改 在[这里](https://github.com/new)创建一个repos, 进入终端,cd到一个...

1869
来自专栏君赏技术博客

【已解决】Xcode 9对于 Fastlane 打包成功无法Export iPA

602
来自专栏小白

记录阿里云的flask部署的防火墙问题

这个自定义防火墙不开,5000端口不让访问。服务器上运行demo.py就访问不了

3506
来自专栏WindCoder

如何修复Ubuntu 14.04 系统设置丢失的问题

其实遇到这个问题的一个最主要的原因是之前执行过卸载ibus输入法的操作,所以为了避免这个问题请不要卸载ibus输入法,大家依然可以安装fcitx输入法使用。

442
来自专栏python学习之旅

Python+Selenium笔记(十七):操作cookie

(一)方法 方法 简单说明 add_cookie(cookie_dict) 在当前会话中添加cookie信息 cookie_di...

3866
来自专栏晓晨的专栏

发布你的程序包到Nuget

863
来自专栏晓晨的专栏

ASP.NET Core 发布之后通过命令控制监听地址和环境变量

1145
来自专栏Python攻城狮

通过pycharm的Database设置进行数据库的可视化

722
来自专栏小樱的经验随笔

使用Windows Server 2003搭建一个asp+access网站

鼠标右键->新建->网站->下一步->描述(随便给一个,这里我以test为例) ->下一步->下一步->输入主目录的路径,默认路径下是C:\Inetpub\ww...

2625
来自专栏晓晨的专栏

开源工具 DotnetRSA 快速生成和转换RSA秘钥

632

扫描关注云+社区