EMR 更新 Hadoop-COS

最近更新时间:2025-03-07 12:11:53

我的收藏
说明:
COSN 是 Hadoop-COS 文件系统的简称。

功能介绍

EMR 集群支持 COS 标准存储桶和元数据加速桶,但在 EMR 环境下需检查 JAR 包版本是否符合环境要求;若不符合要求需要更新 hadoop-cos 包和 cos_api-bundle 版本;本文主要介绍 EMR 更新 COSN 文件 JAR 包。
EMR 挂载元数据加速桶操作步骤参考:挂载元数据加速桶

操作步骤

警告:
如下示例*存在两种格式,如:hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 和 hadoop-temrfs-1.0.6.jar。
1. 当集群中使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时需 提交工单 支持更新。
2. 当集群中未使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时,按如下操作正常升级更新。
3. * =hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 格式时,无需考虑集群是否使用 cosranger,均按如下操作正常升级更新。

场景一

当 core-site.xml 中 fs.cosn.impl=com.qcloud.emr.fs.TemrfsHadoopFileSystemAdapter 时
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
说明:
temrfs_hadoop_plugin_network-1.3下载地址:temrfs_hadoop_plugin_network-1.3.jar
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7
说明:
如上示例中:2.8.5替换为您的 hadoop 版本,8.2.7替换为您需要的 hadoop-cos 包的版本,但确保版本不低于8.2.7, cos_api-bundle 版本会自动适配。
参考如下:
Hadoop 版本
hadoop-cos 包版本
emr.temrfs.download.version
emr.temrfs.download.md5
2.8.5
8.2.7
2.8.5-8.2.7-1.0.7
05d018fcf087d945ec62e3cf2eefc162
3.1.0
8.2.7
3.1.0-8.2.7-1.0.8
53b4f95d1c44a268f16b009e43db7130

场景二

当 core-site.xml 中 fs.cosn.impl=org.apache.hadoop.fs.cosnative.NativeCosFileSystem 时
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7 (参考场景一)
emr.temrfs.download.region=sh
emr.temrfs.tmp.cache.dir=/data/emr/hdfs/tmp/temrfs