前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >举例说明:Hadoop vs. NoSql vs. Sql vs. NewSql

举例说明:Hadoop vs. NoSql vs. Sql vs. NewSql

作者头像
CSDN技术头条
发布于 2018-02-09 06:36:44
发布于 2018-02-09 06:36:44
1.3K0
举报
文章被收录于专栏:CSDN技术头条CSDN技术头条

尽管层次数据库如今在大型机上依然被广泛使用,但关系数据库(RDBMS)(SQL)已经占领了数据库市场,并且表现的相当优异。我们存的钱不会跑到别人的账户,我们预定机票可以确保我们在飞机上有一个专属的座位,而且我们也不会因为没有做过的事而受到责备等等。关系数据库的数据完整性是因为它遵循了ACID(原子性,一致性,独立性以及持久性)原则。关系数据库技术可追溯到上世纪70年代。

那么,现在有什么变化呢?Web技术开启了这次变革。如今,许多人在亚马逊上买东西。但关系数据库并不是设计用来处理亚马逊上每秒大规模的交易的。其主要的制约因素是关系数据库的机制问题。

NoSql数据库提供了另一种机制,但这种机制却削弱了ACID原则。一些NoSql供应商在解决这些问题上取得了长足的进步;他们的解决方案称作最终一致性。至于NewSql,为什么不利用现代的编程语言和技术来新建一个没有缺点的关系数据库呢?这就是很多NewSql供应商起家的方法。其他的NewSql公司创建了增强的MySql解决方案。

Hadoop是一个完全不同的物种。它实际上是一个文件系统而非数据库。Hadoop的根是基于互联网搜索引擎的。虽然Hadoop和伙伴(Hbase,MapreduceHive,Pig,Zookeeper)已经使它变成一个很强大的数据库,但Hadoop依旧是一个可容错、可扩展、廉价的分布式文件系统。Hadoop当下的特点在于它的批量处理适用于数据分析

现在,我们开始举例说明:我设想,视频游戏公司在营业了十年后,最近上线了我们最火热的游戏,并把货发给世界各地的零售商。我们的客户信息目前存储在一个Sql Server数据库中,我们对此一直很乐观。然而,由于玩家开始在线玩游戏,我们的数据库不能够跟上数据更新速度,导致玩家体验有延迟。随着用户群的快速增长,我们花了大笔的钱来买更多的硬件和软件也无济于事。我们最不希望的就是损失客户。我们现在该何去何从?

我们决定分割我们的线上用户群,同时在NoSql和NewSql上运行我们的线上游戏。我们的目标就是要找到最佳的解决方案。IT部门于是选择了NoSqlCouchBase(类似于MongoDB的面向文档型)和NewSql VoltDB。

Couchbase是开源的,它有一个集成的缓存机制,并且可以自动地在多个节点之间传播数据。VoltDB是一个遵循ACID原则的关系数据库,能够容错,横向扩展,并拥有无共享&内存中的架构。最后,这两个系统都能够运作。我不会详述各个方案的复杂细节,因为这只是一个例子,而且实际上比较这些技术需要测试,标杆管理以及深入分析。

既然线上操作可以顺利进行,我们想要分析我们的数据来找到我们应该开拓的市场。那么最适合推销我们的产品是哪个国家呢?为此,我们需要把Sql Server数据仓库的用户数据和线上游戏数据库的数据合并起来,然后运行分析报告。这就轮到Hadoop登场了。我们构建一个Hadoop系统并将这两个数据源的数据合并起来。最后,我们利用开源的R语言与其MapReduce模块连接起来,以生成分析报告。

via:伯乐头条(http://blog.jobbole.com/86269/)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2015-04-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CSDN技术头条 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
关系数据库和NoSql
关系数据库历史悠久,可以找到靠谱的DBA,保证关系数据库稳定性,安全性,完整性和性能,同时可以保证监控和分析关系数据库的瓶颈及设计的合理性。成熟的关系数据库有着自己完善的生态圈,用于保证高可用,数据备份,性能检测分析等成熟的工具。
春哥大魔王
2019/08/13
1.4K0
关系数据库和NoSql
SQL & NoSQL之辩,究竟谁更适海量数据处理
【编者按】大数据应用程序究竟是选择SQL还是NoSQL?VoltDB公司首席技术官Ryan Betts和Couchbase公司首席执行官Bob Wiederhold分别提出了不同的意见,同时借助多项论
CSDN技术头条
2018/02/07
7090
为什么 SQL 正在击败 NoSQL,这对未来的数据意味着什么
原文:Why SQL is beating NoSQL, and what this means for the future of data 作者:Ajay Kulkarni 翻译:Vincent
腾讯云开发者社区
2017/10/24
1.9K0
大数据学习资源最全版本(收藏)
Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);
风火数据
2018/08/23
3.7K0
大数据学习资源最全版本(收藏)
Stonebraker:站在前人的肩膀上,而不是站在他们的脚趾上
Michael Stonebraker 和 Andrew Pavlo 在《SIGMOD Record》的 2024年6月号上发表了一篇文章,题为:What Goes Around Comes Around... And Around...
数据和云
2024/07/12
2020
Stonebraker:站在前人的肩膀上,而不是站在他们的脚趾上
[学习笔记] TiDB学习笔记(一)
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门:https://time.geekbang.org/opencourse/videointro/100089601
菜刀兔
2021/12/30
6261
Hadoop崛起对数据仓库有多大的影响
在过去三年,Hadoop生态系统已经大范围扩展,很多主要IT供应商都推出了Hadoop连接器,以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长
静一
2018/03/15
1.1K0
探索数据宇宙:深入解析大数据分析与管理技术
目前“大数据”( Big data)已成为一个炙手可热的名词。从表面上看,其表示数据规模的庞大,但仅仅从数据规模上无法区分“大数据”这一概念和以往的“海量数据”(Massive data)和“超大规模数据”(Verylarge data)等概念的区别。
Srlua
2024/03/10
2930
探索数据宇宙:深入解析大数据分析与管理技术
【资讯】SQL/NoSQL两大阵营激辩:谁更适合大数据
目前企业在着手推动大数据项目的过程中,经常会遇到这样一个关键性的决策难题——到底该使用哪种数据库方案?经过综合考量,最终的选项往往只剩下SQL与NoSQL两种。SQL具有骄人的业绩以及庞大的安装基础,
小莹莹
2018/04/18
6140
[转载]十六款值得关注的NoSQL与NewSQL数据库
传统关系型数据库在诞生之时并未考虑到如今如火如荼的移动、社交以及大数据负载类型,同时也并不适合处理极端规模处理任务。不过大家不必担心,十六家专业企业已经为我们带来他们各自的次世代NoSQL与NewSQL选项。
干货满满张哈希
2021/04/12
1.6K0
[转载]十六款值得关注的NoSQL与NewSQL数据库
大数据工程师手册:全面系统的掌握必备知识与工具
如何才能成为一名真正的“全栈(full-stack)”数据科学家?需要了解哪些知识?掌握哪些技能?
AI科技大本营
2019/09/17
5390
大数据工程师手册:全面系统的掌握必备知识与工具
PingCAP刘奇:如何构建一个NewSQL数据库
大家好,我是PingCAP CEO刘奇。今天我将和大家分享一下如何构建一个NewSQL数据库。 首先,来介绍下我自己。和你们当中很多人一样,我是一名开源Hacker,一名架构工程师,并长期致力于创建新一代数据库。我曾投身于以下几个开源项目的工作,包括TiKV、TiDB 和Codis,这些项目都已在Github上发布。今天,我的演讲将涉及下列话题: 简要介绍NewSQL; 如何建立一个NewSQL数据库; 以及roadmap。 ▌为什么我们需要一个新的数据库? 在正式开始前,我先问一个
CSDN技术头条
2018/02/12
1.4K0
PingCAP刘奇:如何构建一个NewSQL数据库
超详细的大数据学习资源推荐(上)
今天为大家推荐一些翻译整理的大数据相关的学习资源,希望能给大家带来价值。
挖掘大数据
2018/01/12
2.2K0
大数据技术原理与应用之【NoSQL数据库】习题
NoSQL是一种不同于关系数据库的数据库管理系统设计方式,是对非关系型数据库的一类统称,它采用的数据模型并非传统关系数据库的关系模型,而是类似键/值、列族、文档等非关系模型。
大数据梦想家
2021/01/26
1.1K0
来亲自试一试NoSQL
针对Web开发人员,DBA,程序员,本文介绍了NoSQL数据库的基本概念,不同类型及其特性。
用户1752721
2018/06/01
8360
来亲自试一试NoSQL
Redis之NoSql入门和概述
后来,随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力。在这个时候, Memcached就自然的成为一个非常时尚的技术产品。
yuanshuai
2022/08/22
3300
Redis之NoSql入门和概述
NOSQL数据库学习,NoSQL总结(四)
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可
用户1289394
2022/02/15
1.8K0
NOSQL数据库学习,NoSQL总结(四)
系统设计:SQL VS NoSQL
在数据库世界中,有两种主要的解决方案:SQL和NoSQL(或关系数据库和非关系数据库)。他们俩的构建方式、存储的信息类型以及他们使用的存储方法。
小诚信驿站
2022/03/06
3.3K1
系统设计:SQL VS NoSQL
如何选择合适的NoSQL数据库
与传统的表格(或SQL)数据库相比,NoSQL数据库为软件开发人员和其他用户提供了更高的运行速度和更高的灵活性。
银河1号
2019/04/12
2.8K0
我们对比了5款数据库,告诉你NewSQL的独到之处
对大多数开发人员而言,SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统(即 RDBMS)并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案,则是在本世纪初为满足数据分布可扩展的需求而提出的。
IT阅读排行榜
2019/06/14
7.7K0
相关推荐
关系数据库和NoSql
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文