mapReduce中shuffle的四个步骤

文章目录

• • partition (分区)
  • sort (排序)
  • combiner (局部聚合)
  • group (分组)

partition (分区)

分区的算法是 对key进行哈希，取到一个哈希值，用这个哈希值与reduceTask的数量进行取余。余几，这个数据就放在余数编号的partition

sort (排序)

排序的方法有 正序，倒序，字典排序法

combiner (局部聚合)

对数据进行局部聚合。减少网络传入的次数，降低了网络开销。

group (分组)

将相同的key提取出来作为唯一的key，将相同的key对应的value获取出来作为value的list。