Hadoop数据分析平台实战——060深入理解MapReduce 01（案例）离线数据分析平台实战——060深入理解MapReduce 01（案例）
Hadoop数据分析平台实战——060深入理解MapReduce 01（案例）离线数据分析平台实战——060深入理解MapReduce 01（案例）
离线数据分析平台实战——060深入理解MapReduce 01（案例）
用户自定义数据类型
MapReduce中的数据类型至少有两种用途。 第一个用途，这些类型定义的数据可以被序列化进行网络传输和文件存储， 第二个用途，在shuffle阶段要可以进行大小比较。 那么在hadoop中解决 第一种方式采用hadoop的接口Writable， 第二种采用接口java接口Comparable(Hadoop将这两个接口结合提供了WritableComparable接口)。
Hadoop提供了很多的内置数据类型， 比如：MapWritable, LongWritable, IntWritable, BooleanWritable, ByteWritable, DoubleWritable, FloatWritable, Text, NullWritable等。
用户定制数据输入格式化器
数据输入格式(InputFormat)用于描述MR作业的数据输入格式规范。 MapReduce框架依赖InputFormat进行输入数据分片以及提供读取分片数据的RecordReader实例对象。 每一个InputFormat类都会有一个对应的RecordReader类， RecordReader类主要作用是将输入数据转换为键值对， 传输给mapper阶段的map方法。
MapReduce默认的数据输入格式是: TextInputFormat(LineRecordReader)。 除了这个格式器以外， 还有KeyValueTextInputFormat, CombineTextInputFormat, SequenceFileInputFormat, DBInputFormat等。
InputFormat详解
全称：org.apache.hadoop.mapreduce.InputFormat
方法详解：
getSplits：返回值是分片信息集合；作用：通过分片个数确定mappre的个数，并根据分片信息中的数据地址信息决定是否采用数据本地化策略。
createRecordReader：创建一个具体读取数据并构造key/value键值对的RecordReader实例对象。
RecordReader详解
全称：org.apache.hadoop.mapreduce.RecordReader
方法详解：
initialize：根据对应的分片信息进行初始化操作。
nextKeyValue：判断是否还有下一个key/value键值对，如果有返回true；否则返回false。
getCurrentKey/getCurrentValue：获取当前key/value键值对。
getProgress：获取操作进度信息。
close：关闭资源读取相关连接。
FileSplit详解
全称：org.apache.hadoop.mapreduce.InputSplit
方法详解：
getLength：获取分片长度。
getLocations：获取该分片数据对应的位置信息，确定数据本地化时候有用。
用户定制数据输出格式化器
数据输出格式(OutputFormat)用于描述MR作业的数据输出格式规范。 MapReduce框架依赖OutputFormat进行输出路径(输出空间)检测、获取提交job的OutputCommitter实例对象以及提供一个具体定义如何输出数据的RecordWriter实例对象。 每一个OutputFormat类都会有一个对应的RecordWriter类，RecordWriter类主要作用是明确定义如何写入以及写入的格式，接收reducer阶段输出的key/value键值对。
MapReduce默认的数据输出格式是: TextOutputFormat(LineRecordWriter)。 除了这个格式器以外，还有SequenceFileOutputFormat, DBOutputFormat等。
OutputFormat详解
全称：org.apache.hadoop.mapreduce.OutputFormat
方法详解：
getRecordWriter：创建一个具体写数据的RecordWriter实例。
checkOutputSpecs：检测输出空间相关信息，如果检测失败，直接抛出异常。
getOutputCommitter：获取一个提交job的committer对象。一般情况下，直接使用FileOutputCommitter对象即可。如果觉得FileOutputCommitter内容比较多，也可以自己实现一个完全为空的类。
案例-MongoDB Hadoop实例
实现功能：从MongoDB中读取日志数据，将MapReduce程序处理过的数据写出到MongoDB中。