idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

idea中使用scala运行spark出现:

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

  显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端黑板报

Mac配置Maven

Maven项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。 1.下载安装Maven 安装其实就是解压到一个目录里面...

1856
来自专栏简单聊聊Spark

VMware下Linux的网络配置

一.打开VMWare的编辑->虚拟网络设置->删除VMnet8->添加网络->选择VMnet8->选择NAT模式->点击应用->确定。完成虚拟网络的设置

881
来自专栏编程坑太多

Java编写一个简单的网易云音乐评论的抓取

1704
来自专栏北京马哥教育

用‘slay’干掉某个用户的所有进程

Slay slay 是Chris Ausbrooks写的一款用于杀掉指定用户所有运行进程的命令行工具。slay对系统管理员而言在找出那些不应该运行进程的用户是...

3497
来自专栏十月梦想

mysql5.7.20安装

每次操作都要进入到mysql的bin目录下,才能进行操作,这样极其不便,需要在电脑设置环境变量,这样无需在进入bin目录可以直接操作。

681
来自专栏Youngxj

彩虹社区自助下单美化版2.0

2254
来自专栏cloudskyme

as5.4安装gcc和g++

在光盘中或者到网站上下载 kernel-headers-2.6.18-164.el5.i386.rpm compat-glibc-headers-2.3.4-2...

36511
来自专栏finleyMa

mongoDB总结

image.png https://docs.mongodb.com/manual/reference/command/usersInfo/#...

1222
来自专栏磨磨谈

Ceph删除OSD上一个异常object

ceph里面的数据是以对象的形式存储在OSD当中的,有的时候因为磁盘的损坏或者其它的一些特殊情况,会引起集群当中的某一个对象的异常,那么我们需要对这个对象进行处...

782
来自专栏FreeBuf

Linux下的常见错误配置

经过对大量客户的配置审计与渗透测试,我们总结出了一些Linux系统下的常见配置错误。我们相信总结、回顾这些常见错误可以在以后为我们节省更多时间与资源,更重要...

2046

扫码关注云+社区