问在hadoop流mapreduce中使用一个组合器(使用mrjob)

EN

当我被教授关于mapreduce的时候，其中一个关键的组件是组合器。它是映射器和减速器之间的一个步骤，在map阶段结束时基本上运行减速器，以减少映射器输出的数据行数。随着我需要处理的数据的大小增加(在多兆字节的范围内)，减少步骤变得非常慢。我和我的一位朋友谈过，他说这也是他的经验，他没有使用组合器，而是使用一个散列函数来划分他的约简键，它减少了在减少步骤中每个键的值的数量。我试过了而且成功了。有没有其他人有过这样的经验，组合步骤没有很好的缩放，为什么我找不到这个问题的任何文档以及解决办法？如果有一种方法可以实现组合步长，我宁愿不使用解决办法。

编辑这里是我朋友建议的解决方法的一个例子，它的工作速度比组合器快得多：

而不是输出word, count

映射器输出(word, hash(timestamp) % 1024), count

然后有两个简化步骤来合并映射程序的结果。