问配置单元-跨映射器随机分布记录
EN

Stack Overflow用户

提问于 2018-08-31 02:55:49

回答 1查看 44关注 0票数 0

我正在寻找类似DISTRIBUTE BY的东西，但用于映射器而不是减法器。

我正在运行一个仅限地图的转换作业，并使用

SET mapred.min.split.size=2100000;
SET mapred.max.split.size=2100000;

来控制指定的映射器的数量。总分区大小约为800MB，并为作业分配了大约400个映射器，这似乎与拆分大小一致。我遇到的问题是，大约390个映射器在小于1m的时间内完成，并显示处理了0条记录。剩下的10个映射器需要完成整个工作，需要几天的时间才能完成。

有没有一种方法可以强制映射器获取(大约)相同数量的记录，从而避免这种情况发生？

回答已采纳

发布于 2018-08-31 04:40:04

已修复。显然，要查询的表在HDFS中只有10个文件，因此只能使用10个映射器。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52103682

复制

相似问题

问配置单元-跨映射器随机分布记录EN