大数据数据仓库—概念

大数据经过反复炒作之后,慢慢的降温下来。大家不再大谈几个v了,落地到企业会发现,大部分场景还是传统的数据仓库的替换。今天梳理下数据仓库的使用场景,以及需要的技术。

1,先谈下数据仓库准确的概念是什么?

数据仓库 ,由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出,主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。

数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

2,大数据技术相比传统的数据仓库有什么优势?

搞来搞去,又回到了传统的数据仓库吗?事实上,大部分企业的应用传统数据仓库支持就非常好。

相比传统的数据仓库,大数据技术在几个方面有优势:1)支持非结构化数据,传统数据仓库,基于关系理论构建,只支持结构化数据。尤其在互联网行业,非结构化数据是主数据。 2)扩展性上。对于小于100T的结构化数据处理时,往往会发现MPP架构的数据仓库反而性能更高。但是数据仓库有非常明显的扩展瓶颈,目前已知的,最大生产数据仓库节点数据大概是几百个节点。而大数据平台几千台一个集群比比皆是。3)和新的分析方法和算法的结合上。传统数据仓库,还停留在统计,钻取这些传统的BI分析方法。大数据技术衍生出非常多的交互式,BI工具等。

相比传统数据仓库,大数据也有很多劣势:1)小数量下面,比传统的mpp差。大数据量下面,不能满足交互式分析秒级响应的需求。2)对SQL对支持不充分等。所以业界有不少厂商在做这方面的探索,如cloudera的impala,星环的Inceptor,阿里的ads。

本文先介绍数据仓库的基本概念,下一篇介绍大数据数据仓库的应用场景。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2015-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

写给刚入门的数据分析师的几点建议

1.数据是有立场的,立场决定解读 数据对于业务来讲,是KPI的衡量标杆,也是行动指南。但一旦涉及到立场和方向性的东西,必然有利益触发点的问题。比如同样的一次活动...

3056
来自专栏数据的力量

微信数据分析和微信传播模型

1774
来自专栏新智元

谷歌Edge TPU专用芯片横空出世!抢攻IoT欲一统物联网江湖

【新智元导读】谷歌今天宣布推出用于边缘计算的Edge TPU,作为Cloud TPU的补充,目前Edge TPU仅用于推理,专为在边缘运行TensorFlow ...

792
来自专栏数据的力量

被“妖魔化”的数据分析

1808

即使数据科学家也面临人工智能的威胁

自从AI(人工智能)被用于自动化处理任何事情,人们便开始感到不安。现在人工智能已经证明了它能够通过机器人等技术代替蓝领工作,通过自然语言生成取代白领工作,围绕这...

1855
来自专栏云加头条

FPGA加速:面向数据中心和云服务的探索和实践

为了进一步加速云计算的创新发展、建立云计算信任体系、规范云计算行业、促进市场发展、提升产业技术和服务水平,由中国信息通信研究院、中国通信标准化协会主办的“201...

2395
来自专栏何俊林

软件开发方法之敏捷开发,你用了么?

1.几种开发方法 1.1瀑布式开发——瀑布模型(Waterfall Model) ? 1970年温斯顿·罗伊斯(Winston Royce)提出了著名的“瀑布...

3006
来自专栏携程技术中心

干货 | 从底层到应用,那些数据人的必备技能

作者简介 潘鹏举,携程酒店研发部 BI 经理,负责酒店服务相关的业务建模工作,主要方向是用机器学习帮助业务创造价值。本文首发作者知乎,略有修改,点击底部“阅读原...

31110
来自专栏人工智能头条

Gartner预测2016十大技术趋势,机器学习影响深远

1373
来自专栏CDA数据分析师

透过对15000名程序员的调查,我们发现了这样的规律!

作者 CDA 编辑团队 本文为CDA 数据分析师志愿者原创作品,转载需授权 国外培训机构 FreeCodeCamp 在16年做了一次针对新程序员的问卷调查,...

22510

扫码关注云+社区