mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000
原创mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000
原创
mikealzhou
修改于 2019-05-18 15:48:18
修改于 2019-05-18 15:48:18
一、问题现象
客户在用hive sql做几张表的组合分析，使用mr引擎。 因为其中有一张表超过5万个分区，数据总量超过8千亿条，因此运行过程中出现失败，报错如下所示：
org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl:
Job init failed org.apache.hadoop.yarn.executions.YarnRuntimeException:
java.io.IOException:Split metadata size exceeded 10000000. Aborting job job_1558160008053_0002根据报错，分析得到出错原因： 该job的job.splitmetainfo文件大小超过限制；
从hadoop源码里面可以查询到，是因为 mapreduce.job.split.metainfo.maxsize 参数默认设置1千万导致的。
为什么采用默认的1千万还不够呢？这就要从 mapreduce.job.split.metainfo.maxsize 参数的含义说起：
job.splitmetainfo该文件记录split的元数据信息，如input文件过多，记录的文件结构信息超出默认设置就会报错；输入文件包括大量小文件或者文件目录，造成Splitmetainfo文件超过默认上限。
这个机制也是hadoop集群要求文件大小不能过小或目录过多，避免namenode出现元数据加载处理瓶颈。如block默认128M，则文件应大于这个，尽量合并小文件。
那为什么这次hive sql会出错呢？ 因为计算的hive表超过5万个分区，数据量超过8千亿，存储在HDFS上面的数据文件超过140万个，
mapreduce.job.split.metainfo.maxsize默认的10M大小不足以记录这些元数据。
二、修复方法
在mapred-site.xml配置文件中：
修改参数mapreduce.jobtracker.split.metainfo.maxsize =200000000（200M）
然后，重启mapreducev2、yarn组件；如果是hive sql任务，还需要重启hive。
当然，该问题的根本原因还是因为input小文件或者目录太多导致的，所以建议合并小文件。如果计算的hive表数据量确实太大，建议sql语句选择合适的分区，不要对整个表数据进行计算。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录