举例说明:Hadoop vs. NoSql vs. Sql vs. NewSql

尽管层次数据库如今在大型机上依然被广泛使用,但关系数据库(RDBMS)(SQL)已经占领了数据库市场,并且表现的相当优异。我们存的钱不会跑到别人的账户,我们预定机票可以确保我们在飞机上有一个专属的座位,而且我们也不会因为没有做过的事而受到责备等等。关系数据库的数据完整性是因为它遵循了ACID(原子性,一致性,独立性以及持久性)原则。关系数据库技术可追溯到上世纪70年代。

那么,现在有什么变化呢?Web技术开启了这次变革。如今,许多人在亚马逊上买东西。但关系数据库并不是设计用来处理亚马逊上每秒大规模的交易的。其主要的制约因素是关系数据库的机制问题。

NoSql数据库提供了另一种机制,但这种机制却削弱了ACID原则。一些NoSql供应商在解决这些问题上取得了长足的进步;他们的解决方案称作最终一致性。至于NewSql,为什么不利用现代的编程语言和技术来新建一个没有缺点的关系数据库呢?这就是很多NewSql供应商起家的方法。其他的NewSql公司创建了增强的MySql解决方案。

Hadoop是一个完全不同的物种。它实际上是一个文件系统而非数据库。Hadoop的根是基于互联网搜索引擎的。虽然Hadoop和伙伴(Hbase,Mapreduce,Hive,Pig,Zookeeper)已经使它变成一个很强大的数据库,但Hadoop依旧是一个可容错、可扩展、廉价的分布式文件系统。Hadoop当下的特点在于它的批量处理适用于数据分析。

现在,我们开始举例说明:我设想,视频游戏公司在营业了十年后,最近上线了我们最火热的游戏,并把货发给世界各地的零售商。我们的客户信息目前存储在一个Sql Server数据库中,我们对此一直很乐观。然而,由于玩家开始在线玩游戏,我们的数据库不能够跟上数据更新速度,导致玩家体验有延迟。随着用户群的快速增长,我们花了大笔的钱来买更多的硬件和软件也无济于事。我们最不希望的就是损失客户。我们现在该何去何从?

我们决定分割我们的线上用户群,同时在NoSql和NewSql上运行我们的线上游戏。我们的目标就是要找到最佳的解决方案。IT部门于是选择了NoSqlCouchBase(类似于MongoDB的面向文档型)和NewSql VoltDB。

Couchbase是开源的,它有一个集成的缓存机制,并且可以自动地在多个节点之间传播数据。VoltDB是一个遵循ACID原则的关系数据库,能够容错,横向扩展,并拥有无共享&内存中的架构。最后,这两个系统都能够运作。我不会详述各个方案的复杂细节,因为这只是一个例子,而且实际上比较这些技术需要测试,标杆管理以及深入分析。

既然线上操作可以顺利进行,我们想要分析我们的数据来找到我们应该开拓的市场。那么最适合推销我们的产品是哪个国家呢?为此,我们需要把Sql Server数据仓库的用户数据和线上游戏数据库的数据合并起来,然后运行分析报告。这就轮到Hadoop登场了。我们构建一个Hadoop系统并将这两个数据源的数据合并起来。最后,我们利用开源的R语言与其MapReduce模块连接起来,以生成分析报告。

via:伯乐头条(http://blog.jobbole.com/86269/)

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2015-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安全领域

启动物联网项目所需的一切:第 1 章

本文旨在帮助读者围绕物联网或流处理系统的技术问题,建立完整的基础和多方面的理解。

7598
来自专栏PPV课数据科学社区

【技术】Hadoop选择:可供参考的几大因素

Apache Hadoop的发展已经经历了很长一段时间,也经历也一段从初生到成熟之旅,在Apache Hadoop的起步阶段,主要支持类似搜索引擎的...

2614
来自专栏腾讯移动品质中心TMQ的专栏

由全民吃鸡引发的网游加速学习总结

不论你是或不是一个游戏玩家,最近吃鸡类游戏的火热度可见一斑。而我所在的项目团队要来干这件大事了,因为我们要实现PC端网游加速这回事,第一个目标就是绝地求生。

3.4K12
来自专栏木东居士的专栏

聊一聊 ETL 的设计

8264
来自专栏智能算法

总结:2016年编程方面的主流趋势

TechCrunch在去年一月时曾发布过一篇文章,预测2016年编程方面的主要趋势,但软件开发的世界总是变幻莫测,很难明确预测到会有哪些全新的开发语言、框架以及...

34610
来自专栏HaHack

我在平安的两年

2305
来自专栏Seebug漏洞平台

期待已久,ZoomEye 网络空间搜索引擎第四版强势发布!

ZoomEye | 钟馗之眼,网络空间搜索引擎。探索一切,纵观一切!进行全球的漏洞感知与预警! ZoomEye 于2013年7月1日正式上线!一直到2016年,...

5726
来自专栏互联网数据官iCDO

如何及为何要建立一个受欢迎的Facebook群组

译者:Amber 审校:Nic 本文长度为4781字,预估阅读时间8分钟。 摘要:本文通过解析作者自身建立网站并成功吸引众多Facebook自然访问流量的经验...

5507
来自专栏JAVA高级架构

微服务将进入2.0时代,你们准备好了么?

服务自2014年3月由Martin Fowler首次提出以来,在Spring Cloud、Dubbo等各类微服务框架的帮助下,以燎原之势席卷了整个IT技术界,成...

3248
来自专栏北京马哥教育

举例说明:Hadoop vs. NoSql vs. Sql vs. NewSql

? ? 尽管层次数据库如今在大型机上依然被广泛使用,但关系数据库(RDBMS)(SQL)已经占领了数据库市场,并且表现的相当优异。我们存的钱不会跑 到别人...

3236

扫码关注云+社区

领取腾讯云代金券