从“减少输入记录”到“减少输入组”
从“减少输入记录”到“减少输入组”
提问于 2011-06-12 17:33:03
运行MapRed作业后，我们将获得有关该作业的一些摘要，例如：
...
reduce input records: 10
reduce input groups: 3
...我知道这是由组合重复键造成的。我的问题是，reducer用来合并记录的方法是什么？key1.equals(key2)还是key1.hashCode==key2.hashCode？
谢谢。
回答 2
Stack Overflow用户
回答已采纳
发布于 2011-06-12 17:36:55
由于密钥必须实现WritableComparable，因此只有compareTo。key.hashCode()用于分区。永远不会使用Equals。
Stack Overflow用户
发布于 2011-06-15 23:14:48
一般而言，缩减器不合并记录。为映射器发出的每个键执行一个缩减程序(不一定是并行的)。
Reduce Input Groups是输入到减速器中的唯一键的数量。Reduce Input Records是值数。每个键都有一个或多个与其关联的值进入缩减程序。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/6321228
复制相关文章
相似问题
腾讯云开发者
