如何通过三步做到大数据架构设计

架构设计

整理架构设计

从支付系统、日志系统、用户系统从获取用户的离线数据，保存到Hadoop集群，并对Hadoop集群中的数据进行处理，提炼出基础数据。然后经基础数据存放在Redis中。

从消息中心实时消费支付系统发送出来的支付订单信息，编写storm程序对实时订单信息处理。

storm程序的主要逻辑如下：

从数据库中读取业务配置的规则数据，规则数据从规则配置系统上可视化配置对订单不同维度的数据进行校验，将触发规则的信息存放到数据库

管理平台从数据库获取触发规则的信息进行处理

功能模块设计

数据收集模块 略，详见Hadoop基础

离线数据处理模块 略，详见Hadoop基础

消息中心模块，略，详见实时计算基础之Kafka增强

Storm程序，负责定时读取规则，实时校验

数据模型，主要是规则模型，将用户配置的规则信息保存到数据库中，以及将触发信息保存到数据库中。

报表系统，略

数据模型设计

condition_order_monitor

用户配置的规则信息，一条规则中有多个条件

写在最后：

很多人都知道我有大数据培训资料，都天真的以为我有全套的大数据开发、hadoop、spark等视频学习资料。我想说你们是对的，我的确有大数据开发、hadoop、spark的全套视频资料。