Spark 2.0.0正式版编译及问题分析

从上次编译了技术预览版2.0.1之后，官网终于放出了正式版本的2.0.0版本。

Spark Release 2.0.0（见http://spark.apache.org/releases/spark-release-2-0-0.html）

Apache Spark 2.0.0 is the first release on the 2.x line. The major updates are API usability, SQL 2003 support, performance improvements, structured streaming, R UDF support, as well as operational improvements. In addition, this release includes over 2500 patches from over 300 contributors.

To download Apache Spark 2.0.0, visit the downloads page. You can consult JIRA for the detailed changes. We have curated a list of high level changes here, grouped by major modules.

于是按照以前套路，采用SBT进行编译。把以前的JAR包拷贝过来，注，由于spark-2.0.0要求用sbt－0.13.11版本来编译，需要更新一下现在的SBT库。

很快就能实现上述的编译。

然而编译完后，发现跟以前有很大的不同，就是没有完整的一个jar包，而是拆分为了好多包。这个还真的跟以前有很大的不一样。

当然这种问题会导致编程包的加载会更多，有些不便。但是从某种程度上，也可以实现对多个JAR包合为一个JAR的。

仔细分析下问题所在，才发现project目录下的sparkbuild.scala文件与以前的出入比较大。这才是问题所在。