在spark 2.1上运行scala spark 1.6作业失败
我有一个需要每晚运行的spark工作。然而，我不得不从1.6更新到spark 2.1。现在我收到一个错误：
org/apache/spark/sql/DataFrameReader.load()Lorg/apache/spark/sql/DataFrame；：java.lang.NoSuchMethodError(由file:/usr/local/src/spark21master/spark-2.1.2-bin-2.7.3/jars/spark-sql_2.11-2.1.2.jar加载)从(由org.apache.spark.util.MutableURLClassLoader@ee80a89b).从file:/tmp/spark-21-ego-master/work/spark-driver-8073f84b-6c09-4d7d-83f5-2c99527eaa1c/spark-service-stat_2.11-1.0.jar加载)类com.ibm.cit.tennis.ServiceStat$调用
在我的SBT构建文件中，我有以下配置：
scalaVersion := "2.11.8"
val sparkVersion = "2.1.2"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion % sparkDependencyScope,
"org.apache.spark" %% "spark-sql" % sparkVersion % sparkDependencyScope,
"org.apache.spark" %% "spark-mllib" % sparkVersion % sparkDependencyScope,
"org.apache.spark" %% "spark-streaming" % sparkVersion % sparkDependencyScope,
"org.apache.spark" %% "spark-hive" % sparkVersion % sparkDependencyScope,
"org.apache.spark" %% "spark-repl" % sparkVersion % sparkDependencyScope
"org.apache.spark" %% "spark-graphx" % sparkVersion % sparkDependencyScope
)我正在使用Scala 2.11.8和Java 1.8.0进行构建。
任何帮助都会很感激亚伦。
回答 2
Stack Overflow用户
发布于 2018-06-12 12:12:19
NoSuchMethodError异常是版本不匹配的标志。我怀疑你还在尝试使用Spark 1.6来启动你的应用程序。在您的示例中，不清楚sparkDependencyScope的值是什么。通常，Spark依赖是使用"provided"作用域指定的，即Spark运行时的安装版本。
"org.apache.spark" %% "spark-core" % sparkVersion % "provided"
尝试运行spark-submit --version以确定使用的是哪个Spark launcher版本。如果不是您所期望的，请确保Spark 2.1.2已安装并位于PATH中。
Stack Overflow用户
发布于 2018-06-13 05:02:20
这个问题已经解决了。这些库被缓存在一个环境中。在创建了一个新环境之后，SBT能够获取最新的资源。
此外，我还必须补充：
conf.set("spark.sql.crossJoin.enabled", "true")https://stackoverflow.com/questions/50808328
复制相似问题