大数据面试题百日更新_Hadoop专题(Day09)

文章目录

• • • 10. 请说下 MR 中 Map Task 的工作机制
    • 11. 请说下 MR 中 Reduce Task 的工作机制
    • 9.内存角度介绍Map的输出到Reduce的输入的过程。

10. 请说下 MR 中 Map Task 的工作机制

在这里插入图片描述

11. 请说下 MR 中 Reduce Task 的工作机制

在这里插入图片描述

另一版本:

9.内存角度介绍Map的输出到Reduce的输入的过程。

Map的输出到内存 Map将数据传入环形缓冲区，默认100MB 可修改，环形缓冲区中的数据到达一定的阈值时，默认0.8 可修改，进行溢写生成好多临时文件，多个临时文件到达10个（可以调整）merge合并成一个大文件。 Reduce数据读取 reduce会主动去发起拷贝线程到maptask获取属于自己的数据，数据会进入ReduceTask中的环形缓冲区，当缓冲区中的数据量到达 一定阈值进行溢写，多个临时文件merge合并成一个大文件，最后输入到Reduce。