MapReduce中shuffle阶段概述及计算任务流程

在小菌上一篇博客《什么是MapReduce(入门篇)》中,小菌已经为大家介绍了MapReduce的相关概念介绍。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,value-list>形式的中间结果,再交给对应的Reduce 进行处理,这个过程也就是小菌需要为大家介绍的,叫做Shuffle(混洗)!

先让我们来看下Shuffle阶段的四个操作的具体功能演示(下图的3~6步操作)。

在这里插入图片描述

是不是有点丈二和尚——摸不着头脑,不要着急,让小菌来告诉大家更详细的步骤过程!

第5步：对输出的key，value对进行分区。相同key的数据发送到同一个reduce里面去，相同key合并，value形成一个集合 第6步：对不同分区的数据按照相同的key进行排序 第7步：对分组后的数据进行规约(combine操作)，降低数据的网络拷贝（可选步骤） 第8步：对排序后的额数据进行分组，分组的过程中，将相同key的value放到一个集合当中

下面小菌将为大家介绍MapReduce的整个任务执行过程!(由于空间有限,2,3步骤过程较为抽象,只做文字说明)

在这里插入图片描述

具体每步的详细流程如下:

第1步：InputFormat InputFormat 到hdfs上读取数据 将数据传给Split 第2步：Split Split将数据进行逻辑切分， 将数据传给RR 第3步：RR(RecordReader) RR:将传入的数据转换成一行一行的数据，输出行首字母偏移量和偏移量对应的数据 将数据传给MAP 第4步：MAP MAP:根据业务需求实现自定义代码 将数据传给Shuffle的partition 第5步：partition partition:按照一定的分区规则，将key value的list进行分区。 将数据传给Shuffle的Sort 第6步：Sort Sort:对分区内的数据进行排序 将数据传给Shuffle的combiner 第7步：combiner combiner:对数据进行局部聚合。 将数据传给Shuffle的Group 第8步：Group Group:将相同key的key提取出来作为唯一的key, 将相同key对应的value获取出来作为value的list 将数据传给Reduce 第9步：Reduce Reduce：根据业务需求进行最终的合并汇总。 将数据传给outputFormat 第10步：outputFormat outputFormat:将数据写入HDFS

本次关于MapReduce计算任务流程的的介绍就到这里了,关于流程中shuffle阶段的Partition分区算法以及split的逻辑切分规律,小菌会在后续的博客中为大家解答,感兴趣的小伙伴们记得关注小菌哟!٩(๑❛ᴗ❛๑)۶