大数据开发如何规避细节问题,换一个角度来解决常见的细节问题

5.开发细节

5.1工程结构讲解

本书共一个系统架构,二个产品模块(离线和实现),四个项目包:Stormanalyse,Loggenerator, ClickStreamETL,SparkClickStream接下来分别来介绍对应的项目模块:

5.1.1离线项目代码目录结构

离线大数据日志处理由两部分组成,第一部分是Hadoop MR组成的ClickStreamETL项目,第二个是有Spark内存计算组成的SparkClickStream项目。

ClickStreamETL

Hadoop版本的日志处理分析Eclipse项目图示

开发代码UML项目结构图

代码文件组成结构(由于类图过大,故请到本书提供源下载)

SparkClickStream

Spark版本的日志处理分析

开发代码UML项目结构图

代码文件组成结构

5.1.2实时计算代码目录结构

实时计算代码由两部分组成,第一部分是loggenerator,负责仿造实时数据,进行数据解析,stormanalyse,是storm框架中代码开发实例,负责对数据进行处理的代码。

Stormanalyse

Storm版本的实时数据处理

Stormanalyse项目结果图

StormanalyseUML类图

Loggenerator

实时计算项目数据源模拟

Loggenerator项目结构图

LoggeneratorUML类图(由于类图过大,故请到本书提供源下载)

本文来自企鹅号 - ITStar媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Bingo的深度学习杂货店

synchronized锁处理spring事务高并发请求

最近在写一个活动报名功能,会有多个人同时报名某个活动,要求当参与人数超过限制人数的时候,就报出人数已满的信息。

86910
来自专栏程序员互动联盟

【答疑解惑第十二讲】windows编程学习框架图

存在问题: 桌面系统windows为王,windows编程大有可为。 解决方案: 大家知道现在PC市场上,Windows、Linux、Mac基本占了百分之九十多...

33560
来自专栏喵了个咪的博客空间

phalcon-进阶篇1(过滤与清理)

#phalcon-进阶篇1(过滤与清理)# ? 本教程基于phalcon2.0.9版本 ##前言## 先在这里感谢各位phalcon技术爱好者,我们提供这样一个...

31780
来自专栏做全栈攻城狮

程序员带你学习安卓开发-安卓基础之网络编程 大汇总

本系列教程致力于可以快速的进行学习安卓开发,按照项目式的方法,通常一篇文章会做一个小程序。提高学习的兴趣。

9230
来自专栏Java技术栈

百度三轮面试回来,想和Java程序员分享一下。

如果要去百度面试的,提前做好充足的准备吧,不然你会败的很惨。下面整理下我从百度三轮面试回来的题目,供你参考! 一,百度一面 1、给一个函数,返回 0 和 1...

47790
来自专栏WeTest质量开放平台团队的专栏

iOS微信内存监控

本文介绍如何实现离线化的内存监控工具,用于 App 上线后发现内存问题。

1.5K50
来自专栏Java架构

必看!多年架构师告诉你为什么要学JVM?

33040
来自专栏coding for love

JS常用设计模式解析

我想作为一个前端开发者,前期大多数只会关注代码的功能性。但是随着编程经验的增加,维护更大更复杂的代码模块,需要的就不仅仅只是代码功能性的实现,还需要关注代码的复...

13830
来自专栏Android 开发者

开发者也是用户 - 第二部分:改善 UI 和 API 可用性的五条指导原则

19930
来自专栏WeTest质量开放平台团队的专栏

iOS微信内存监控

目前iOS主流的内存监控工具是Instruments的Allocations,但只能用于开发阶段。本文介绍如何实现离线化的内存监控工具,用于App上线后发现内存...

26850

扫码关注云+社区

领取腾讯云代金券