Hadoop专业解决方案之构建Hadoop企业级应用

一、大数据的挑战

　大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因：

　　1.传统应用的基础设施是基于传统数据库访问模式设计的，它不支持Hadoop；

　　2.数据存储在Hadoop之上，实时访问集群中部分数据是可行的；

　　3.Hadoop大数据存储能力使得你可以存储数据集的多个版本，来挑战传统覆写数据方式。

二、大数据应用系统架构

三、架构说明

1.数据源层：DataSource数据的收集可以基于Flume或者Sqoop进行；

2.数据仓库层：需要区分结构化数据和非结构化数据存储，同时需要考虑过程数据的存储问题；

3.业务层：针对数据处理层OOzie可以做为工作流调度的工具，Map/Reduce任务可以作为任务执行的单元；

4.实时查询：必须加访问限制和条件过滤；