Hadoop数据分析平台实战——220项目结构整体概述离线数据分析平台实战——220项目结构整体概述

离线数据分析平台实战——220项目结构整体概述

数据展示系统(bf_dataapi)总述

bf_dataapi项目的主要目标有两个： 第一个目标就是我们需要提供一个提供json数据的Rest API； 第二个目标就是提供一个展示结果的demo页面。 bf_dataapi使用spring+mybatis+mysql来搭建提供rest api的项目框架， 使用highcharts来进行demo页面的搭建。 在本次项目中，我们将所有的API高度聚合，最终我们只会提供两个API，然后在API中根据参数的不同进行不同操作。

数据展示系统(bf_dataapi)结构

bf_dataapi展示页面介绍

在本次项目中我们分别就七个模块进行数据分析，我们这里采用js+highcharts的方式进行数据的动态展示，具体的需求文档详见：..\文档\最终展示界面需求文档&设计文档.doc

bf_dataapi rest api介绍

针对我们本次项目的七个模块的数据分析，我们采用提供rest api的方式提供json格式的分析数据，这样方便其他前端程序员来调用该接口来显示数据，也方便其他项目组调用api获取需要的数据。在本项目中，我们将api接口高度聚合，只提供两个api，在api的方法内部根据参数的不同决定不同的操作。具体需求文档详见：..\文档\RestAPI需求设计文档.doc

分析系统(bf_transformer)总述

bf_transformer的主要目标由两个，第一个目标就是解析过滤用户日志数据，并将解析后的数据保存到hbase中，也就是etl操作；第二个目标就是从hbase中读取日志数据，然后编写mr/hive的job进行数据分析，然后将结果保存到mysql数据库中。

分析系统(bf_transformer)结构