前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark 1.5.2(Scala 2.11)版本的编译与安装

Spark 1.5.2(Scala 2.11)版本的编译与安装

作者头像
sparkexpert
发布2022-05-07 13:58:49
4090
发布2022-05-07 13:58:49
举报

Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。

有了前面的编译经验和之前下载好的java类包,花了大概一分钟就编译妥当,于是重新部署配置一下,马上OK。简直是高效率。

对于scala的编译,还是只需要一条语句。build/sbt -Dscala=2.11 -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver assembly。

然后复制到各台电脑上。sudo scp -r spark-1.5.2 ndscbigdata@ubuntu-bigdata-8:/home/ndscbigdata/soft/

开启spark,进入spark 监控页面,1.5.2的版本马上就显现出来!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2015-11-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档