Hadoop离线数据分析平台实战——440DataApi后台架构搭建Hadoop离线数据分析平台实战——440DataApi后台架构搭建

Hadoop离线数据分析平台实战——440DataApi后台架构搭建

项目进度

模块名称

完成情况

1. 程序后台框架搭建

未完成

2. 用户基本信息展示

未完成

3. 浏览器信息展示

未完成

4. 地域信息展示

未完成

5. 外链信息展示

未完成

6. 用户浏览深度展示

未完成

7. 事件数据展示

未完成

8. 订单数据展示

未完成

后台程序结构总体介绍

我们采用提供两个相关的rest api来提供所有的数据的访问, rest api返回的结果为json数据格式, 通过定义不同的bucket和metric来区别不同的api, 然后通过api的不同分别获取不同的参数(dimension)。 除此之外,我们还需要一个获取维度信息的rest api接口来方便获取相关维度信息。

Service层我们采用一个单独的service来处理所有普通的, 没有特殊要求的api请求,通过mybatis完成和mysql数据库的交互, 其中api对应的mybatis执行namespace(执行sql的定位信息)保存到spring的配置文件中。 针对特殊的api,我们可以提供一种单独的自定义service来进行处理。 如果针对从数据库中获取的数据需要进行计算,那么在service获取mysql的数据之后,会进行处理操作。

涉及到的类及其作用

我们采用AE(analytic engine)简称我们的dataapi项目。 文件及其作用: AEConstants: 常量类 AEController: 主要提供获取数据的api接口,继承自BaseController类。 DimensionController: 提供dimension相关api接口的controller类,继承BaseController类。 AEService: 提供数据获取的service接口,默认实现未AEServiceImpl。 DimensionService: 提供获取dimension相关的接口。 AEDao: 处理操作mysql的接口(基本), 继承自BaseDao类。 xxxDimensionDao: 处理具体Dimension相关的和数据的dao类。 xxxDimension: model/vo类 xxxUtil: 工具类 xxxMapper.xml:mybatis的sql文件 ae-beans.xml: spring bean配置文件,主要作用是配置自定义service、dao相关bean以及数据库连接池。 aeConfigContext.xml: spring的主要配置文件,主要配置api的参数信息以及api和mybatis映射关系。 log4j.properties: 日志打印信息。 jdbc.properties: 数据库连接信息。 web.xml: web配置信息。

编码步骤

  1. 编写Controller
  2. 编写Service
  3. 编写Dao
  4. 测试

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA高级架构

高并发解决方案--负载均衡

30720
来自专栏快乐八哥

搭建AngualarJS开发环境

1.选择Web浏览器 Chrome和Firefox浏览器 2.选择代码编辑器 Subline Text和Visual Studio Code 3.安装Web...

21560
来自专栏信安之路

轻松理解 X-XSS-Protection

首先我们来理解一下什么是“X-XSS-Protection”,从字面意思上看,就是浏览器内置的一种 XSS 防范措施。

15200
来自专栏后端技术探索

Nginx如何做流量控制

英文原文:https://www.nginx.com/blog/rate-limiting-nginx/

68040
来自专栏腾讯NEXT学位

【干货】打造自己的web前端工作流(一)--- 交互的命令行工具模板篇

前言 web前端领域技术日新月异,技术栈也不断丰富,在日常工作中涉及到的内容也不断增加,一个前端项目从开发到发布涉及的步骤也很多,很多重复工作内容,因此我...

51940
来自专栏数据和云

运维经验:回滚段异常的特殊救急方法

? 冷菠 冷菠,资深DBA,著有《Oracle高性能自动化运维》,有近10年的数据库运维、团队管理以及培训经验。擅长数据库备份恢复、数据库性能诊断优化以及数据...

46190
来自专栏北京马哥教育

10个方法助你轻松完成Linux系统恢复

在Linux中有一些应用程序可以帮助你保存系统快照。大多数应用程序都是针对于新手的,并不需要高级的Linux操作技巧。我们在这里挑选了10个,你可以从中选择适合...

58450
来自专栏程序员的碎碎念

git上传更新项目-错误总结

前些天做完项目一部分内容的时候,想git上传代码上去远程仓库里,却出现了不少git的错误提示信息。在这里总结一下吧: 一、正确的git上传更新项目步骤为:...

33530
来自专栏java一日一条

JVM 开发者必看:傻瓜式编译 OpenJDK 7

LZ经过一个星期断断续续的研究,终于成功的搞定了JDK的成功编译与调试。尽管网络上的教程也有不少,包括源码中也有自带的编译步骤说明,但真正自己动手的话,还是会遇...

11320
来自专栏数据和云

Linux Bug: free cache 导致数据库实例crash

李真旭(Roger) ACOUG 核心专家,Oracle ACE,云和恩墨技术专家 编辑手记:linux 文件系统的cache分为2种:page cache和 ...

32660

扫码关注云+社区

领取腾讯云代金券