Hadoop离线数据分析平台实战——350公用代码重构
项目进度
| 模块名称 | 完成情况 |
|---|---|
| 用户基本信息分析(MR)� | 完成 |
| 浏览器信息分析(MR) | 完成 |
| 地域信息分析(MR) | 未完成 |
| 外链信息分析(MR) | 未完成 |
| 用户浏览深度分析(Hive) | 未完成 |
| 订单分析(Hive) | 未完成 |
| 事件分析(Hive) | 未完成 |
MR程序公用代码重构
公用代码主要包括：
- Runner类中的参数处理代码，以及hbase的scan对象创建相关代码公用。
- Mapper类中获取hbase的value中的数据代码公用。
- 其他辅助作用的代码添加
mapper公用代码
- 编写TransformerBaseMapper类，在其中填写这个公用代码
- 更改MR程序中mapper类继承父类为TransformerBaseMapper, 然后进行代码修改。
Runner公用代码
- 编写TransformerBaseRunner类，在其中填写这个公用代码
- 更改MR程序中runner类继承父类为TransformerBaseRunner, 然后进行代码修改。
作业
- 自行将剩下的几个mapreduce代码进行更改，也就是讲mapper类更改为继承TransformerBaseMapper类，将runner类更改为继承TransformerBaseReducer类。
- 在TransformerBaseRunner类中，添加提取所有hbase列值的方法。
(我会在下一讲中提交的代码中将这些进行全部的修改)。
