大数据分析需要把hbase、mysql等数据导入hive吗?

看做什么,如果不需要对数据进行实时处理,那么大部分情况下都需要把数据从hbase/mysql(数据库)“导入”到hive(数据仓库)中进行分析。“导入”的过程中会做一些元数据转换等操作。 相关知识如下

数据仓库的几个概念

http://www.ppvke.com/Blog/archives/27862

什么是OLTP?

联 机事务处理系统(OLTP),也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。也 称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能,具体体现为实时响应时间。我们通常讲的业务系统都是基于OLTP的,主要的关系数据 库代表为Oracle,Sybase,DB2,SQLServer,MySQL等等。 OLTP系统的主要特点 1、事务处理 2、面向应用 3、反映当前情况

什么是数据仓库?

数 据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合,用以支持经营管理中的决策制定过程。目的是解决在信息技术(IT) 发展中存在的拥有大量数据、然而有用信息贫乏(Data rich-Information poor)的问题。数据仓库就其本质仍然是基于关系数据库的,其与OLTP系统最大的不同是系统的目的的不同。主要的关系数据库代表为 Oracle,Sybase,DB2,SQLServer,SybaseIQ,Terradat,MySQL等等。 数据仓库的特点 1、面向主题 2、集成性—企业数据框架 3、历史性、稳定性

什么是OLAP?

OLAP 是使分析人员、管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映数据维特性的信息,进行快速、一致、交互地访问,从 而获得对数据的更深入了解的一类软件技术。OLAP采用了新的数据处理引擎大大加强了对海量数据的聚合和访问要求,同时满足了不同层次数据的访问。主要的 OLAP代表为SybaseIQ,MSOLAP,ESSbase等。 核心——维也称多维视图,数据立方(Data Cube) 目标——多维分析 OLAP的特点 1、灵活、动态 2、多角度、多层次的视角 3、快速

OLTP系统和数据仓库系统的区别?

虽 然OLTP系统和数据仓库系统都存储于关系数据库中,但两者的主要区别是使用目的的不同,数据仓库系统的建设只是为了隔离业务系统、整合各个不同的数据 源、形成一个统一的数据中心、以提供决策支持。究其实质,数据库对于两者的处理并无太大的区别,只是对数据仓库部分增加了一些优化措施或者没有。如 Oracle新增的各种分区支持、位图索引、平行操作、物化视图等等;Sybase公司为数据仓库的SybaseIQ产品,提供了类似位图索引的方式极大 的优化了查询速度;SQLServer2000对于数据仓库和OLTP系统的处理区别不大。 OLTP系统和数据仓库系统的差别很大程度上取决为了不同需要而进行的系统设计。总的说来两者实质物理结构是一致的,但目的是不同的。

数据仓库和OLAP的区别?

虽然数据仓库和联机分析处理 (OLAP) 这两个术语有时可互换使用,但它们却适用于通常称为决策支持系统或业务智能系统的不同组件。这些类型的系统的组件包括一些数据库和应用程序,用于为分析人员提供支持组织机构决策制定所需的工具。 数 据仓库本质上仍然是一个关系数据库,包含那些通常表示某个组织机构业务历史的数据。通过分析这些历史数据,可以支持对分散的组织单元进行从策略计划到性能 评估的多级业务决策。对数据仓库中的数据进行组织是为了支持分析,而不象在联机事务处理系统 (OLTP) 中那样是为处理实时事务。 OLAP 技术使数据仓库能够快速响应重复而复杂的分析查询,从而使数据仓库能有效地用于联机分析。OLAP 的多维数据模型和数据聚合技术可以组织并汇总大量的数据,以便能够利用联机分析和图形工具迅速对数据进行评估。当分析人员搜寻答案或试探可能性时,在得到 对历史数据查询的回答后,经常需要进行进一步查询。OLAP 系统可以快速灵活地为分析人员提供实时支持。

本文内容来自PPV课问答社区 详见原文连接:http://www.ppvke.com/Answer/question/25945

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2016-02-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据和云计算技术

实用调度工具Airflow

引言 前面写过一篇文章《端午搬砖:聊聊调度云服务》,主要讲云服务的。如果企业也业务上云,可以优先选用这些服务,减少工作量。 而在传统企业内部,数据集成是基础,更...

7776
来自专栏华章科技

以朋友圈为例,腾讯资深架构师揭秘鹅厂大数据平台是怎样运营的

导读:本文将从构成运营成本的主要运营资源(设备资源、带宽资源、专线资源)出发,以实际案例分别阐述精细化技术运营实施的要点。

4335
来自专栏码洞

我为Redis找到了一个新家——VMWare

今天翻了一下Antirez早年的博客,发现了这样一篇介绍redis进展的好文章,写于2010年,居然长期以来都没有被翻译成中文,所以我就不客气了。

772
来自专栏张善友的专栏

千万级规模高性能、高并发的网络架构经验分享

主 题 :INTO100沙龙 时间 :2015年11月21日下午 地点 :梦想加联合办公空间 分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软...

5826
来自专栏姬小光

如何洞悉隐性需求

俗话说,计划赶不上变化快,无论需求文档做得如何细致,考虑得如何周全,总会有些难以预料的需求变更在每天困扰着我们。开发人员苦恼,产品运营人员更苦恼,毕竟谁也不愿意...

893
来自专栏云计算D1net

函数云”即将崛起?

工具始终为其用途所塑造。当云计算首次出现时,是一种虚拟化托管的形式,其目标是看起来和裸机服务器一样。 基础架构即服务(IaaS)形成了最早的云服务,它仍然主导公...

3537
来自专栏原创

亿级高并发系统的监控与报警

什么是系统监控 对于功能简单,用户量较少的软件系统,大部分公司不需要额外的监控系统来保证公司业务的正常运行。而当公司发展到一定程度,系统越来越多元化,单一系统也...

4157
来自专栏Java学习网

10+年程序员总结的20+条经验教训学习

10+年程序员总结的20+条经验教训学习 开发 1.从小事做起,然后再扩展 无论是创建一个新的系统,还是添加功能到现有的系统中,我总是从一个简单到几乎没有任...

2337
来自专栏程序员的SOD蜜

“领域驱动开发”实例之旅(1)--不一样的开发模式      一、分析业务需求。    二、设计领域对象模型    三、测试领域对象模型    四、设计业务处理类    五、设计Entity和Vi

    听说DDD-“领域驱动开发”已经很久了,园子里面已经有不少大牛写过博文介绍,但我一直没有尝试过,直到今年公司的一个项目出现数据库移植,原来的业务逻辑都写...

2447

云数据服务蜂拥而至...好难选呀

(译者补充:随着每个云提供商都提供了数十种数据服务,为您的需求选择合适的云数据服务比以往任何时候都更重要,更不用说为了省钱了。这文章就是教你如何选择适合自己的服...

1899

扫码关注云+社区

领取腾讯云代金券