组件版本

最近更新时间:2019-07-17 14:32:33

腾讯云弹性 MapReduce 由一系列大数据生态的开源应用程序组成。每个弹性 MapReduce 的版本,包含了一组特定版本的开源程序。当您在创建集群时,可以选择对应的 EMR 版本,以满足您对其中包含的开源组件的版本需求。

注意:

  • EMR 版本会定期升级,类似 EMR-V1.3.1、EMR-V2.0.1、EMR-V2.1.0。
  • 每一个版本上捆绑的组件和组件的版本都是固定的。目前还不支持组件的多个不同版本的选择,也不支持用户自行更改组件的版本。例如在 EMR-V2.0.1 中内置的是 Hadoop 2.7.3、Spark 2.2.1 等。
  • 一旦选择了 EMR 某个版本创建集群,该集群使用的 EMR 版本和组件版本不会自动升级,例如选 EMR-V2.0.1 版本,那么 Hadoop 就一直保持在2.7.3,Spark 就一直保持在2.2.1。后续如果版本升级到了 EMR-V2.1.0,Hadoop 到了2.8.4,Spark 到了2.3.2也不会影响到已经创建出来的集群。只有新的集群才会使用新的镜像。
  • 当您通过数据迁移的方式升级集群版本的时候,例如从 EMR-V2.0.1 升级到 EMR-V2.1.0,为防止一些升级不兼容,环境变化等,请务必测试需要迁移的任务,保证在新的软件环境中能正常运行。

各 EMR 版本包含的组件及组件版本如下:

组件名称 EMR-V1.3.1 EMR-V2.0.1 EMR-V2.1.0
发布时间 - - 2019.05
Flink 1.2.0 1.2.0 1.4.2
Ganglia 3.7.2 3.7.2 3.7.2
Hadoop 2.7.3 2.7.3 2.8.4
Hbase 1.2.4 1.3.1 1.3.1
Hive 2.1.1 2.3.2 2.3.3
Hue 3.12.0 3.12.0 4.4.0
Ooize 4.3.1 4.3.1 4.3.1
Presto 0.161 0.188 0.215
Ranger - 0.7.1 0.7.1
Spark 2.0.2 2.2.1 2.3.2
Sqoop 1.4.6 1.4.6 1.4.7
Storm 1.1.0 1.1.0 1.1.0
Tez 0.8.5 0.8.5 0.8.5
Zookeeper 3.4.9 3.4.9 3.4.9
Flume - - 1.8.0
Alluxio - - 1.8.1
Knox 1.2.0 1.2.0 -