idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

idea中使用scala运行spark出现:

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

  显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏简单聊聊Spark

VMware下Linux的网络配置

一.打开VMWare的编辑->虚拟网络设置->删除VMnet8->添加网络->选择VMnet8->选择NAT模式->点击应用->确定。完成虚拟网络的设置

1051
来自专栏运维技术迷

连仕彤博客cloudns配置动态域名解析

7625
来自专栏磨磨谈

Ceph删除OSD上一个异常object

ceph里面的数据是以对象的形式存储在OSD当中的,有的时候因为磁盘的损坏或者其它的一些特殊情况,会引起集群当中的某一个对象的异常,那么我们需要对这个对象进行处...

852
来自专栏FreeBuf

Linux下的常见错误配置

经过对大量客户的配置审计与渗透测试,我们总结出了一些Linux系统下的常见配置错误。我们相信总结、回顾这些常见错误可以在以后为我们节省更多时间与资源,更重要...

2146
来自专栏Youngxj

彩虹社区自助下单美化版2.0

2504
来自专栏cloudskyme

as5.4安装gcc和g++

在光盘中或者到网站上下载 kernel-headers-2.6.18-164.el5.i386.rpm compat-glibc-headers-2.3.4-2...

37311
来自专栏康怀帅的专栏

终端录屏工具 asciinema

asciinema 是一个用 ClojureScript 编写的开源命令行录屏工具。 安装 macOS $ brew update && brew instal...

3504
来自专栏北京马哥教育

用‘slay’干掉某个用户的所有进程

Slay slay 是Chris Ausbrooks写的一款用于杀掉指定用户所有运行进程的命令行工具。slay对系统管理员而言在找出那些不应该运行进程的用户是...

3547
来自专栏互联网研发闲思录

一个线上缓存异常

  最近线上应用发现了一个问题,系统启动构建缓存会出现缓存数据为空的情况,仔细分析整个流程 ,开始以为是代码疏忽导致bug,后来在仔细分析整个流程发现是由于a缓...

2030
来自专栏雪胖纸的玩蛇日常

django引入模板时,部分css文件渲染不成功失灵引入不成功

1545

扫码关注云+社区