Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210
概述 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211
CDH - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211
安装Hadoop2.6.4 非Zookeeper集群版 - - - - - - - - - - - - - - - 211
安装Hadoop2.6.4 Zookeeper集群版 - - - - - - - - - - - - - - - 216
MapReduce整体的流程详解 - - - - - - - - - - - - - - - - - - - - 225
Hadoop HDFS 系统详解 - - - - - - - - - - - - - - - - - - - - - 226
JAVA 操作HDFS - - - - - - - - - - - - - - - - - - - - - - - - 241
Hadoop MapReduce 实例 - - - - - - - - - - - - - - - - - - - - 248
Hadoop 其他总结 - - - - - - - - - - - - - - - - - - - - - - - - 259
Hadoop 优化总结 - - - - - - - - - - - - - - - - - - - - - - - - 259
1、MapTask会去执行InputFormat的getRecordRead的方法
2、getRecordRead去执行LineRecordReader组件中的RecordRead方法中的nextKey与nextValue去获取数据
3、nextKey与nextValue去split重拿数据
4、在回到MapTask去执行key与value
5、在wordCountMapper中map去获取数据,最后再把数据通过上下文context写出去
6、MapOuputConllecter中的conllecter(key,value),也就是reduce阶段
7、拿到上一步的数据后会落入到唤醒缓冲区中做排序与溢出,在溢出时会用到compareTo组件进行排序
8、拿到上一步的溢出数据后通过组件splier溢出到磁盘
9、内部的merge组件会把小文件合并成大文件