MapReduce之Map和Reduce阶段

两个阶段

map阶段：主要负责分开

Map: 将一个Job分解为若干个task

reduce阶段：主要负责结果汇总，进行合并

Recude: 完成分解的task，并且汇总结果

eg:图书馆以书架进行图书清点。这里“以书架为单位”，就是map的过程，分配任务。而每个书架安排人来清点并且汇总最后的清点结果就是Reduce的过程。

基本概念

作业(Job)

任务(Task)

键值对(Key/Value)

Map(),Reduce() 函数的输入/输出都是的形式

核心思想

分治 分而治之小的问题集与大的问题集解决思路是一致的

架构特点

1.分布式编程架构

2.以数据为中心，更看重吞吐率

3.分而治之

4.Map将一个任务分解成多个子任务

Reduce将分解后多个子任务分别处理，并将结果汇总为最终结果

相关举例

1.车站各个车次人数统计

2.清点图书馆藏书

3.统计单词出现次数