首页
学习
活动
专区
圈层
工具
发布

Hadoop离线数据分析平台实战——350公用代码重构Hadoop离线数据分析平台实战——350公用代码重构

Hadoop离线数据分析平台实战——350公用代码重构

项目进度

模块名称

完成情况

用户基本信息分析(MR)�

完成

浏览器信息分析(MR)

完成

地域信息分析(MR)

未完成

外链信息分析(MR)

未完成

用户浏览深度分析(Hive)

未完成

订单分析(Hive)

未完成

事件分析(Hive)

未完成

MR程序公用代码重构

公用代码主要包括:

  1. Runner类中的参数处理代码,以及hbase的scan对象创建相关代码公用。
  2. Mapper类中获取hbase的value中的数据代码公用。
  3. 其他辅助作用的代码添加

mapper公用代码

  1. 编写TransformerBaseMapper类,在其中填写这个公用代码
  2. 更改MR程序中mapper类继承父类为TransformerBaseMapper, 然后进行代码修改。

Runner公用代码

  1. 编写TransformerBaseRunner类,在其中填写这个公用代码
  2. 更改MR程序中runner类继承父类为TransformerBaseRunner, 然后进行代码修改。

作业

  1. 自行将剩下的几个mapreduce代码进行更改,也就是讲mapper类更改为继承TransformerBaseMapper类,将runner类更改为继承TransformerBaseReducer类。
  2. 在TransformerBaseRunner类中,添加提取所有hbase列值的方法。 (我会在下一讲中提交的代码中将这些进行全部的修改)。
下一篇
举报
领券