idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Gen

idea中使用scala运行spark出现:

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

ls /usr/local/spark/jars | grep scala

  显示如下:

然后你就可以修改你使用的scala版本号了

问题解决

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java成神之路

hbase_异常_02_hbase无法访问16010端口

上一个异常解决了之后,已经能正常启动hbase了,也能正常使用hbase shell  ,但是无法通过浏览器访问 16010端口。

1692
来自专栏简单聊聊Spark

VMware下Linux的网络配置

一.打开VMWare的编辑->虚拟网络设置->删除VMnet8->添加网络->选择VMnet8->选择NAT模式->点击应用->确定。完成虚拟网络的设置

1561
来自专栏北京马哥教育

用‘slay’干掉某个用户的所有进程

Slay slay 是Chris Ausbrooks写的一款用于杀掉指定用户所有运行进程的命令行工具。slay对系统管理员而言在找出那些不应该运行进程的用户是...

3667
来自专栏Java成神之路

Linux_笔记_01_设置静态IP与 SecureCRT连接Linux

使用命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0

952
来自专栏运维技术迷

连仕彤博客cloudns配置动态域名解析

9415
来自专栏Youngxj

彩虹社区自助下单美化版2.0

2884
来自专栏互联网研发闲思录

一个线上缓存异常

  最近线上应用发现了一个问题,系统启动构建缓存会出现缓存数据为空的情况,仔细分析整个流程 ,开始以为是代码疏忽导致bug,后来在仔细分析整个流程发现是由于a缓...

2090
来自专栏编程坑太多

Java编写一个简单的网易云音乐评论的抓取

2824
来自专栏康怀帅的专栏

终端录屏工具 asciinema

asciinema 是一个用 ClojureScript 编写的开源命令行录屏工具。 安装 macOS $ brew update && brew instal...

3794
来自专栏Java成神之路

Java微信开发_Exception_02_"errcode":40164,"errmsg":"invalid ip 61.172.68.219, not in whitelist hint

1374

扫码关注云+社区

领取腾讯云代金券