大数据数据仓库—概念

大数据经过反复炒作之后,慢慢的降温下来。大家不再大谈几个v了,落地到企业会发现,大部分场景还是传统的数据仓库的替换。今天梳理下数据仓库的使用场景,以及需要的技术。

1,先谈下数据仓库准确的概念是什么?

数据仓库 ,由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出,主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。

数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

2,大数据技术相比传统的数据仓库有什么优势?

搞来搞去,又回到了传统的数据仓库吗?事实上,大部分企业的应用传统数据仓库支持就非常好。

相比传统的数据仓库,大数据技术在几个方面有优势:1)支持非结构化数据,传统数据仓库,基于关系理论构建,只支持结构化数据。尤其在互联网行业,非结构化数据是主数据。 2)扩展性上。对于小于100T的结构化数据处理时,往往会发现MPP架构的数据仓库反而性能更高。但是数据仓库有非常明显的扩展瓶颈,目前已知的,最大生产数据仓库节点数据大概是几百个节点。而大数据平台几千台一个集群比比皆是。3)和新的分析方法和算法的结合上。传统数据仓库,还停留在统计,钻取这些传统的BI分析方法。大数据技术衍生出非常多的交互式,BI工具等。

相比传统数据仓库,大数据也有很多劣势:1)小数量下面,比传统的mpp差。大数据量下面,不能满足交互式分析秒级响应的需求。2)对SQL对支持不充分等。所以业界有不少厂商在做这方面的探索,如cloudera的impala,星环的Inceptor,阿里的ads。

本文先介绍数据仓库的基本概念,下一篇介绍大数据数据仓库的应用场景。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2015-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

无人机软件架构知多少?

AIAA的会议论文(Infotech@Aerospace 2012),从计算机角度阐述了无人机软件架构,由易科机器人实验室(ExBot.net)分享。 文献信息...

3149
来自专栏腾讯高校合作

打车的江山 马蹄声狂乱 ——帝都滴滴抢修记

锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“...

3314
来自专栏镁客网

英德等国科学家共同完成OAM无线传输测试,性能秒杀光纤通信 | 黑科技

1330
来自专栏大数据技术学习

大数据零基础学习路线、用途、方向

不过大数据学习并不是高深莫测的,虽然它并没有多简单,但是通过努力,零基础的朋友也是完全可以掌握大数据的。

1310
来自专栏腾讯大讲堂的专栏

打车的江山 马蹄声狂乱 ——帝都滴滴抢修记

锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“...

18210
来自专栏机器之心

前沿 | 人类第一次实现用光存储信息:悉尼大学将光子计算推向现实

选自PHYS ORG 机器之心编译 机器之心编辑部 悉尼大学的研究人员通过将光波中搭载的信息转换为集成电路或微芯片中的声波,让存储光波中的信息成为了可能。 这是...

2638
来自专栏数据科学与人工智能

【陆勤践行】大数据新手入门:给刚玩Hadoop的朋友一些建议

文|Slaytanic 随着两会中间央视新闻天天说大数据,很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了,我现在创业,遇到很多传统数据行业往H...

18710
来自专栏镁客网

黑科技 | 分子存储领域大突破,可让大量数据存储于单个分子

1180
来自专栏前沿科技

中兴智能大数据报道:珠海机场启用安检人脸识别系统

中兴视觉大数据报道:在2018年5月7日的时候,珠海机场在东指廊率先启用安检人脸识别系统。此次珠海机场启用的人脸识别系统将安检验证信息系统和人脸识别系统...

3437
来自专栏我是攻城师

运用Spark加速实时数据分析

3106

扫描关注云+社区