Big data analytics beyond hadoop

今天给大家推荐一本书《big data analytics beyond hadoop》。书的名字应该可以翻译为《hadoop下一代数据分析技术》。

这本书主要讲的是BDAS(Berkeley Data Analytics Stack)伯克利数据分析技术堆栈。伯克利这个大学真是牛,以前搞的BSD,是UNIX系统里面一个重要分支。下面来看下BDAS:

BDAS技术堆栈分三部分,上图中分别以不同的颜色标示:

1、BDAS技术堆栈组件,包括spark/shark/mesos/tachyon等,这些是组成BDAS的骨架。

2、Hadoop生态圈兼容框架,BADS技术堆栈和hadoop生态圈兼容,包括YARN,HDFS等。

3、BADS应用,构建在BADS上的应用。

下面简单说下BDAS几个主要重要的组成:

1、spark:用scala实现的分布式内存计算框架,被认为是hadoop MapReduce的下一代技术发展趋势,也是BADS主要支撑。

2、Shark:构建在spark上SQL查询引擎,和HIVE共元数据,和HIVE原理类似。

3、Mesos:一个双层的资源分配框架,对应hadoop里面的YARN,前面对业界资源管理框架有一个分析资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析:http://jiezhu2007.iteye.com/admin/blogs/2049073。

总的来说:

1、BADS是名校伯克利一群博士,教授鼓捣出来的,理念很超前,同时也有另外一层含义学术氛围浓,各个组件还需要时间完善。

2、这里面最重要的是spark,代表了内存发展的方向,包括cloudera/Hortonworks都把spark包括在自己的发型版本里面了,相信后面应该会有一个长足的发展。

3、书中更多的内容,大家自己去看吧,相信对你应该会有很大的启发。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-06-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏沃趣科技

沃趣微讲堂 | PXC、MGC&MGR原理与实践对比(一)

七月份,波多老师线下作了一场题为“PXC、MGC&MGR原理与实践对比”的精彩分享,整场下来,干货满满,现场的童鞋都听得灰常认真,反响热烈。分享结束后,也有很多...

1525
来自专栏PPV课数据科学社区

数据太大?你该了解Hadoop分布式文件系统

1、联网设备增加 数据量随之上升 大数据时代来了。当所有人都争吵着这件事情的时候,当所有企业都看好大数据的发展前景的时候,却都很少关注这些数据从哪儿来,我们有...

2736
来自专栏数据派THU

独家 | 一文读懂大数据处理框架

前言 说起大数据处理,一切都起源于Google公司的经典论文:《MapReduce:Simplied Data Processing on Large Clus...

2089
来自专栏CSDN技术头条

专访Databricks辛湜,谈Spark排序比赛摘冠及生态圈热点

据Sort Benchmark最新消息,Databricks的Spark与加州大学圣地亚哥分校的TritonSort两个系统在2014 Daytona Gray...

20010
来自专栏灯塔大数据

盘点:10款最受欢迎数据可视化工具

在数字经济时代,人们需要对大量的数字进行分析,帮助用户更直观的察觉差异,做出判断,减少时间成本。当然,你可能想象不到这种数据可视化的技术可以追溯到2500年前世...

4238
来自专栏最新技术

大数据架构的未来

大家应该都清楚,数据正在以巨幅的速度增长。如果能够有效地利用这些数据,可以发现非常有价值的内容,然而传统技术(许多早在40年前设计的,比如RDBMS这样的技术)...

60412
来自专栏木东居士的专栏

别人家的元数据系统是怎么设计的

2.5K4
来自专栏钱塘大数据

“别再问我什么是大数据了”一个单身程序汪的自白

N次聚会,N种人问我:“哎!你们做大数据的到底是做什么的呀?”每每到此,我都会回答他们:大数据只是一种工具,没有那么神秘,和一支铅笔,一双筷子,一把钥匙的原理是...

3219
来自专栏风火数据

阻碍大数据发展的九大痛点(个人观点)

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。

1053
来自专栏CDA数据分析师

大数据吹了这么久为什么还落不了地?就因为这9点

尽管在Hadoop与NoSQL部署方面做足了准备,同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。 有时候一艘巨轮的侧方出现了破洞,但业界...

2076

扫码关注云+社区