2016年元月4号, spark 在其官网上公开了1.6.0版本,于是进行下载和编译.
有了前面的编译经验和之前下载好的java类包,花了大概一分钟就编译妥当,于是重新部署配置一下,马上OK。简直是高效率。
对于scala的编译,还是只需要一条语句。build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver assembly。
对spark 1.6中的新特性进行测试: (DataSet)
其中1.6的新特性还包括:
<=>
) will now execute using SortMergeJoin instead of computing a cartisian product.mapWithState
- a DStream transformation for stateful stream processing, supercedes updateStateByKey
in functionality and performance.