idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

hbbliyong

发布于 2018-03-06 12:44:09

4.1K0

发布于 2018-03-06 12:44:09

文章被收录于专栏：hbbliyong

idea中使用scala运行spark出现：

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样：

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

　　a. 运行spark-shell ,在启动结束会显示版本

b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

　　显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018-01-20 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度