idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

idea中使用scala运行spark出现:

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

  显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏linux系统运维

目录的创建和删除以及cd命令和rm命令的介绍用法

1786
来自专栏开源优测

软件测试人员必须掌握的Linux基本命令

软件测试人员必须掌握的Linux基本命令 下面的这些命令是日常Linux下最为常用的基本命令,也是软件测试人员必须掌握的 ls 列出当前目录下所有可见文件 ls...

3326
来自专栏bboysoul

最全的网站信息收集Sn1per

你可以使用docker来安装它 docker pull menzo/sn1per-docker docker run --rm -ti menzo/sn1p...

693
来自专栏左瞅瞅,右瞅瞅

ELK的上线之路(三):—— Logstash实践

vi /usr/local/logstash/conf/logstash.conf

1024
来自专栏逸鹏说道

Ubuntu离线安装VSCode(附带前期准备工作)

跨平台系列汇总:http://www.cnblogs.com/dunitian/p/4822808.html#linux 在说正式步骤前先把准备工作做到位: 1...

2976
来自专栏极客教程

mac系统下安装、启动、停止mongodb

MongoDB 下载地址: https://www.mongodb.com/download-center?jmp=nav#community

4159
来自专栏张善友的专栏

编译错误CS1595

编译错误 说明: 在编译向该请求提供服务所需资源的过程中出现错误。请检查下列特定错误详细信息并适当地修改源代码。 编译器错误信息: CS1595: 已在多处...

1849
来自专栏编程

Python入门-HelloWorld、开发环境、开发工具

1.搭建开发环境 a.进入官网www.python.org,点击“Download”-“Windows”(或其他操作系统) ? b.选择Python版本下载(注...

1946
来自专栏我的博客

PHP命令行模式

1.PHP运行指定文件 php my_script.php php -f my_script.php 2.命令行直接运行php代码 php -r ‘pri...

2634
来自专栏Android干货

LeanCloud云引擎相关问题

1634

扫码关注云+社区