本项目分为三个模块,分别为: 日志收集模块, 数据分析模块以及 数据展示模块。 其中日志收集模块主要由sdk+nginx+flume组成,项目工程名为bf_track; 数据分析模块主要由hive和mapreduce来完成,项目工程名为bf_transformer; 数据展示模块主要由highcharts+springmvc+mybatis+mysql组成,项目工程名为bf_dataapi。
其中bf_track项目中只涉及到sdk编写和nginx&flume配置; bf_transformer中只涉及到hive和mapreduce的编写; 只有bf_dataapi涉及到数据展示和数据库访问操作,所以在这里只介绍该项目的环境的搭建以及案例测试。
Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。 由两个重要模块组成:Spring 面向方面编程(AOP)和控制反转 (IOC)容器。 控制反转模式(也称作依赖性介入)的基本概念是:不创建对象,但是描述创建它们的方式。 在代码中不直接与对象和服务连接,但在配置文件中描述哪一个组件需要哪一项服务。 容器 (在 Spring 框架中是 IOC 容器) 负责将这些联系在一起。 在典型的 IOC 场景中,容器创建了所有对象,并设置必要的属性将它们连接在一起,决定什么时间调用方法。
MyBatis 是支持普通 SQL查询,存储过程和高级映射的优秀持久层框架。 MyBatis 消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。 MyBatis 使用简单的XML或注解用于配置和原始映射,将接口和 Java 的POJOs(Plain Old Java Objects,普通的 Java对象)映射成数据库中的记录。