Hadoop离线数据分析平台实战——350公用代码重构Hadoop离线数据分析平台实战——350公用代码重构

Hadoop离线数据分析平台实战——350公用代码重构

项目进度

MR程序公用代码重构

公用代码主要包括：

1. Runner类中的参数处理代码，以及hbase的scan对象创建相关代码公用。
2. Mapper类中获取hbase的value中的数据代码公用。
3. 其他辅助作用的代码添加

mapper公用代码

1. 编写TransformerBaseMapper类，在其中填写这个公用代码
2. 更改MR程序中mapper类继承父类为TransformerBaseMapper, 然后进行代码修改。

Runner公用代码

1. 编写TransformerBaseRunner类，在其中填写这个公用代码
2. 更改MR程序中runner类继承父类为TransformerBaseRunner, 然后进行代码修改。

作业

1. 自行将剩下的几个mapreduce代码进行更改，也就是讲mapper类更改为继承TransformerBaseMapper类，将runner类更改为继承TransformerBaseReducer类。
2. 在TransformerBaseRunner类中，添加提取所有hbase列值的方法。 (我会在下一讲中提交的代码中将这些进行全部的修改)。