Big data analytics beyond hadoop

今天给大家推荐一本书《big data analytics beyond hadoop》。书的名字应该可以翻译为《hadoop下一代数据分析技术》。

这本书主要讲的是BDAS(Berkeley Data Analytics Stack)伯克利数据分析技术堆栈。伯克利这个大学真是牛,以前搞的BSD,是UNIX系统里面一个重要分支。下面来看下BDAS:

BDAS技术堆栈分三部分,上图中分别以不同的颜色标示:

1、BDAS技术堆栈组件,包括spark/shark/mesos/tachyon等,这些是组成BDAS的骨架。

2、Hadoop生态圈兼容框架,BADS技术堆栈和hadoop生态圈兼容,包括YARN,HDFS等。

3、BADS应用,构建在BADS上的应用。

下面简单说下BDAS几个主要重要的组成:

1、spark:用scala实现的分布式内存计算框架,被认为是hadoop MapReduce的下一代技术发展趋势,也是BADS主要支撑。

2、Shark:构建在spark上SQL查询引擎,和HIVE共元数据,和HIVE原理类似。

3、Mesos:一个双层的资源分配框架,对应hadoop里面的YARN,前面对业界资源管理框架有一个分析资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析:http://jiezhu2007.iteye.com/admin/blogs/2049073。

总的来说:

1、BADS是名校伯克利一群博士,教授鼓捣出来的,理念很超前,同时也有另外一层含义学术氛围浓,各个组件还需要时间完善。

2、这里面最重要的是spark,代表了内存发展的方向,包括cloudera/Hortonworks都把spark包括在自己的发型版本里面了,相信后面应该会有一个长足的发展。

3、书中更多的内容,大家自己去看吧,相信对你应该会有很大的启发。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-06-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏木东居士的专栏

别人家的元数据系统是怎么设计的

1.3K4
来自专栏风火数据

阻碍大数据发展的九大痛点(个人观点)

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。

933
来自专栏Hadoop实操

大数据凉了?No,流式计算浪潮才刚刚开始!

AI 前线导读:本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streami...

2026
来自专栏灯塔大数据

干货|盘点最受欢迎的十个开源大数据技术

大数据已然成为当今最热门的技术之一,正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点最...

3398
来自专栏灯塔大数据

盘点:10款最受欢迎数据可视化工具

在数字经济时代,人们需要对大量的数字进行分析,帮助用户更直观的察觉差异,做出判断,减少时间成本。当然,你可能想象不到这种数据可视化的技术可以追溯到2500年前世...

3788
来自专栏ThoughtWorks

TW洞见〡大数据全栈式开发语言 – Python

文章作者来自ThoughtWorks:佟达 ,图片来自网络。 前段时间,ThoughtWorks在深圳举办一次社区活动上,有一个演讲主题叫做“Fullstac...

2865
来自专栏指旺研究院

大数据的威力,它可能知道你何时在啪啪啪。

海量数据的威力 人们在形容一个事物非常大或者非常多的时候,往往喜欢用“海量”这个词,比如说某某某的酒量很大就称其为海量,所以在形容数据量非常大的时候,就有了“海...

4506
来自专栏CDA数据分析师

大数据吹了这么久为什么还落不了地?就因为这9点

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。 有时候一艘巨轮的侧方出现了破洞,但业界...

1976
来自专栏大数据技术学习

零基础学习大数据人工智能,学习路线篇!

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。

2354
来自专栏PPV课数据科学社区

数据太大?你该了解Hadoop分布式文件系统

1、联网设备增加 数据量随之上升 大数据时代来了。当所有人都争吵着这件事情的时候,当所有企业都看好大数据的发展前景的时候,却都很少关注这些数据从哪儿来,我们有...

2606

扫码关注云+社区