前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Apache Hadoop 2.2.0 MapReduce1.x向2.x迁移

Apache Hadoop 2.2.0 MapReduce1.x向2.x迁移

作者头像
星哥玩云
发布2022-07-01 15:06:56
1310
发布2022-07-01 15:06:56
举报
文章被收录于专栏:开源部署

Hadoop的2.x中我们引入了一个资源管理器,一个分布式应用的管理框架,同时MRv2仍然是一个纯净的分布式计算框架。

总的来讲,以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用,不过仍然需要代码改进和重构,一些api将被不推荐使用。

余下部分将会讨论MRv2的向后兼容能力。

二进制兼容

首先基于旧mapred api的二进制程序兼容意思是说这些应用程序是基于MRv1的api编译构建的,那么他们不需要做任何修改就可以在MRv2上运行。仅仅需要指明hadoop2.x的配置文件。

源文件兼容

我们不能确定基于mapreduce构建的二进制文件是否能兼容,毕竟这些api基于MRv1变化很大。不过我们可以肯定的是基于mapreduce从新构建二进制文件是兼容的,换句话说用户可以基于mapreduce重新构建他们的二进制文件,一个需要注意的不兼容地方是Counter 和CounterGroup。

不支持

MRAdmin在MRv2中已经被删除。因为mradmin 命令已经不存在了。他被rmadmin替换掉了,我们不支持二进制直接使用了此类。

MRv1用户和MRv2早期用户权衡

不幸的是保持MRv1二进制兼容问题会导致MRv2早期用户(hadoop 0.23用户)二进制不兼容问题。对于mapred api我们选择兼容MRv1应用,因为他们的用户比较庞大。对于mapreduce api用户没有采用hadoop 0.23的应用我们仍然让他们兼容MRv1的应用,如下罗列的是MapReduce api不兼容hadoop 0.23:

Problematic Function

Incompatibility Issue

org.apache.hadoop.util.ProgramDriver#drive

Return type changes from void to int

org.apache.hadoop.mapred.jobcontrol.Job#getMapredJobID

Return type changes from String to JobID

org.apache.hadoop.mapred.TaskReport#getTaskId

Return type changes from String to TaskID

org.apache.hadoop.mapred.ClusterStatus#UNINITIALIZED_MEMORY_VALUE

Data type changes from long to int

org.apache.hadoop.mapreduce.filecache.DistributedCache#getArchiveTimestamps

Return type changes from long[] to String[]

org.apache.hadoop.mapreduce.filecache.DistributedCache#getFileTimestamps

Return type changes from long[] to String[]

org.apache.hadoop.mapreduce.Job#failTask

Return type changes from void to boolean

org.apache.hadoop.mapreduce.Job#killTask

Return type changes from void to boolean

org.apache.hadoop.mapreduce.Job#getTaskCompletionEvents

Return type changes from o.a.h.mapred.TaskCompletionEvent[] too.a.h.mapreduce.TaskCompletionEvent[]

蓄意

用户在YARN上运行 hadoop-examples-1.x.x.jar,需要注意的是hadoop -jar hadoop-examples-1.x.x.jar仍然采用的是hadoop-mapreduce-examples-2.x.x.jar,他跟其他MRv2安装在一起。默认hadoop的jar优先于用户的jar加载也就是说2.x.x的会优先执行。用户需要在所有的hadoop节点上移除hadoop-mapreduce-examples-2.x.x.jar 。用户需要设置 HADOOP_USER_CLASSPATH_FIRST=true and HADOOP_CLASSPATH=...:hadoop-examples-1.x.x.jar去执行他们想执行的例子,同时需要在mapred-site.xml配置文件中加入如下信息以便YARN加载此jar:

<property>  <name>mapreduce.job.user.classpath.first</name>  <value>true</value> </property

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档