问Scala/Spark版本兼容性

EN

正如您所假设的，Scala不是向后兼容的。除非您在scala 2.12下重新构建spark，否则必须使用scala 2.11和spark (如果您想使用最新的Scala版本，这是一个选项，但需要更多工作才能让一切正常工作)。

在考虑兼容性时，您需要同时考虑源代码兼容性和二进制兼容性。Scala确实倾向于向后兼容源代码，因此您可以在较新的版本下重新构建您的jar，但它不是二进制向后兼容的，因此您不能将使用旧版本构建的jar与来自新版本的代码一起使用。

这只是主要版本，所以scala 2.10、2.11、2.12等都是主要版本，不是二进制兼容的(即使它们是源代码兼容的)。但是在一个主要版本中保持了兼容性，因此Scala2.11与所有版本2.11.0 - 2.11.11兼容(加上未来的任何2.11版本也将兼容)

正是由于这个原因，您将看到大多数Scala库对于每个主要的Scala版本都有单独的版本。您必须确保您使用的任何库都为您正在使用的版本提供了一个jar，并且您使用的是该jar而不是其他版本的jar。如果您使用SBT%%，将为您选择正确的版本，但使用maven时，您需要确保使用正确的工件名称。这些版本通常使用scala、_2.11和_2.12作为前缀，这指的是构建jar所针对的scala版本。

对于任何想要快速入门的人来说，这是我使用的版本控制对。

scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.2",
  "org.apache.spark" %% "spark-sql" % "2.3.2"
)

我使用了Scala和Spark的这些版本，它可以很好地满足我的需求：

scalaVersion := "2.12.8"
libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.0"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"

有些库需要2.11版本的Scala，在这种情况下，应该使用@the775提到的版本。