本地类不兼容异常:从IDE运行spark standalone时
本地类不兼容异常:从IDE运行spark standalone时
提问于 2016-02-18 23:31:15
我开始测试spark。我在本地机器上安装了spark，并使用单个worker运行本地集群。当我试图通过如下方式设置sparconf从IDE执行我的作业时：
final SparkConf conf = new SparkConf().setAppName("testSparkfromJava").setMaster("spark://XXXXXXXXXX:7077");
final JavaSparkContext sc = new JavaSparkContext(conf);
final JavaRDD<String> distFile = sc.textFile(Paths.get("").toAbsolutePath().toString() + "dataSpark/datastores.json");*我得到了一个例外：
java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVersionUID = -5447855329526097695, local class serialVersionUID = -2221986757032131007回答 4
Stack Overflow用户
发布于 2016-05-18 19:31:31
下面可能有多个不兼容的原因：
- Hadoop版本；
- Spark版本；
- Scala Hadoop版本
对于我来说，它的Scala版本，我在我的集成开发环境中使用2.11.X，但官方文档说：
`Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).` 和文档中的x告诉，如果使用最新的Java(1.8)，则不能小于3，原因是this。希望能对你有所帮助！
Stack Overflow用户
发布于 2016-07-17 02:50:22
在下面的版本组合中，我得到了所有的工作
已安装spark 1.6.2
使用bin/spark-submit --version验证
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.2</version>
</dependency>和
JavaScala2.10.6和
8。
请注意，它没有工作，并有类似的类不兼容的问题与以下版本
JavaScala2.11.8和
8
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.6.2</version>
</dependency>Stack Overflow用户
发布于 2016-02-19 04:49:10
看起来您安装的Spark版本与您的IDE中使用的Spark版本不同。
如果您使用的是maven，只需将pom.xml中声明的依赖项版本与bin/spark-submit --version的输出进行比较，并确保它们是相同的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/35485662
复制相关文章
相似问题
腾讯云开发者
