说明:
COSN 是 Hadoop-COS 文件系统的简称。
功能介绍
EMR 集群支持 COS 标准存储桶和元数据加速桶,但在 EMR 环境下需检查 JAR 包版本是否符合环境要求;若不符合要求需要更新 hadoop-cos 包和 cos_api-bundle 版本;本文主要介绍 EMR 更新 COSN 文件 JAR 包。
操作步骤
警告:
如下示例*存在两种格式,如:hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 和 hadoop-temrfs-1.0.6.jar。
1. 当集群中使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时需 提交工单 支持更新。
2. 当集群中未使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时,按如下操作正常升级更新。
3. * =hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 格式时,无需考虑集群是否使用 cosranger,均按如下操作正常升级更新。
场景一
当 core-site.xml 中 fs.cosn.impl=com.qcloud.emr.fs.TemrfsHadoopFileSystemAdapter 时:
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
说明:
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7
说明:
如上示例中:2.8.5替换为您的 hadoop 版本,8.2.7替换为您需要的 hadoop-cos 包的版本,但确保版本不低于8.2.7, cos_api-bundle 版本会自动适配。
参考如下:
Hadoop 版本 | hadoop-cos 包版本 | emr.temrfs.download.version | emr.temrfs.download.md5 |
2.8.5 | 8.2.7 | 2.8.5-8.2.7-1.0.7 | 05d018fcf087d945ec62e3cf2eefc162 |
3.1.0 | 8.2.7 | 3.1.0-8.2.7-1.0.8 | 53b4f95d1c44a268f16b009e43db7130 |
场景二
当 core-site.xml 中 fs.cosn.impl=org.apache.hadoop.fs.cosnative.NativeCosFileSystem 时:
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
2. 在 core-site.xml,新增如下配置项:
emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
emr.temrfs.download.version=2.8.5-8.2.7-1.0.7 (参考场景一)
emr.temrfs.download.region=sh
emr.temrfs.tmp.cache.dir=/data/emr/hdfs/tmp/temrfs