如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】

问题导读 1.通过什么途径,可以查看与spark兼容的组件版本? 2.如何获取pom文件? 3.pom文件中包含了哪些信息? 4.spark编译通过什么参数可以指定hadoop版本? 当我们安装spark的时候,很多时候都会遇到这个问题,如何找到对应spark的各个组件的版本,找到比较标准的版本兼容信息。答案在spark源码中的pom文件。首先我们从官网下载源码。进入官网

[Bash shell] 纯文本查看 复制代码

?

http://spark.apache.org

选择download,然后我们看到下面内容

[Bash shell] 纯文本查看 复制代码

?

# Master development branch
git clone git://github.com/apache/spark.git
 
# Maintenance branch with stability fixes on top of Spark 2.2.0
git clone git://github.com/apache/spark.git -b branch-2.2

我们看到上面需要使用git下载。 如果你是window,那么可以装一个Linux虚拟机,或则直接在window上安装。window安装遇到的问题可参考 win7安装 git软件下载以及遇到的问题解决解决方法 http://www.aboutyun.com/forum.php?mod=viewthread&tid=8521 这里使用Linux安装,更加方便。执行下面命令

[Bash shell] 纯文本查看 复制代码

?

sudo yum install perl openssh git -y

上面安装完毕,下载源码

[Bash shell] 纯文本查看 复制代码

?

git clone git://github.com/apache/spark.git

当然如果你不想这么麻烦,只想查看pom.xml文件,也可以直接访问

[Bash shell] 纯文本查看 复制代码

?

github.com/apache/spark.git

然后打开pom.xml即可

[Bash shell] 纯文本查看 复制代码

?

https://github.com/apache/spark/blob/master/pom.xml

这时候我们可以查看里面的兼容信息spark的版本为2.3.0-SNAPSHOT

接着我们找到<properties>里面有各种所需软件的信息,比如 jdk1.8,hadoop位2.6.5,2.7.1,2.7.3。 flume版本为flume1.6.0, zookeeper版本为3.4.6 hive为:1.2.1 scala为:2.11.8 这样我们在安装的时候就找到它们版本兼容的依据。 当然官网提供一种编译的版本,剩下的需要我们自己编译。下一篇我们讲该如何编译我们想要的版本。

这里需要说明的一个地方即maven的profile,是为了适应不同的版本。我们在编译的时候,可以通过-P指定版本

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2017-11-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户画像

解决 javac不是内部或外部命令等问题

1、JAVA_HOME值为: D:\Program Files\Java\jdk1.7.0_11(JDK的安装目录)

992
来自专栏Python疯子

外部浏览器跳转到APP的指定页面

如果要实现跳转到指定页面,就需要传 参数 表示跳转到哪个页面,只需要在上面的网址里:即 ifr.src = 'com.zttd.webApp//参数'   

1.6K2
来自专栏无原型不设计

【Mockplus教程】删除

1 删除单个页面或分组 直接选中需要删除的页面或分组,在右键菜单中选择“删除”,或者使用Delete键删除; 2 删除多个页面或分组 在同一个分组下,按...

3016
来自专栏py+selenium

python爬虫笔记之用cookie访问需要登录的网站

4651
来自专栏无原型不设计

【Mockplus教程】备注

每个页面都可以添加备注信息,打开需要添加或者查看备注信息的页面, 在页面节点上面鼠标右击,弹出菜单中选择“页面属性”一项,如下图: ? 在弹出的对话框中,...

2764
来自专栏静下来

WordPress升级遇到504 Gateway Time-out 另一更新正在进行的解决方法

WordPress在后台在线升级的时候,会遇到服务器返回提示504 Gateway Time-out的错误。 这个问题主要是出现在nginx环境下,并且服务器是...

77111
来自专栏Youngxj

利用宝塔简易反向代理教程 适用于谷歌、ss站点

7817
来自专栏静下来

解决军哥lnmp1.3环境下wordpress不显示主题问题

最近给新买的vps用了军哥的lnmp环境包,由于是第一次用他的,还不太熟悉。 一开始就遇到了一些问题吧,在安装好wordpress之后,发现主题不能显示。 然后...

2905
来自专栏大前端开发

【新闻】微信web开发者工具更新,及注意事项

这次的微信web开发者工具的更新主要是对开发工具的功能增强和bug修复,增加修改了一些最近一直频繁在开发者中被提出的问题,比如请求的地址不是合法的域名地址之类的...

1323
来自专栏开源优测

windows下jenkins安装部署

环境搭建(windows版本) 一、安装包下载地址 1、JDK安装包: 32位地址:http://download.oracle.com/otn-pub/jav...

2795

扫码关注云+社区

领取腾讯云代金券