Big data analytics beyond hadoop

今天给大家推荐一本书《big data analytics beyond hadoop》。书的名字应该可以翻译为《hadoop下一代数据分析技术》。

这本书主要讲的是BDAS(Berkeley Data Analytics Stack)伯克利数据分析技术堆栈。伯克利这个大学真是牛,以前搞的BSD,是UNIX系统里面一个重要分支。下面来看下BDAS:

BDAS技术堆栈分三部分,上图中分别以不同的颜色标示:

1、BDAS技术堆栈组件,包括spark/shark/mesos/tachyon等,这些是组成BDAS的骨架。

2、Hadoop生态圈兼容框架,BADS技术堆栈和hadoop生态圈兼容,包括YARN,HDFS等。

3、BADS应用,构建在BADS上的应用。

下面简单说下BDAS几个主要重要的组成:

1、spark:用scala实现的分布式内存计算框架,被认为是hadoop MapReduce的下一代技术发展趋势,也是BADS主要支撑。

2、Shark:构建在spark上SQL查询引擎,和HIVE共元数据,和HIVE原理类似。

3、Mesos:一个双层的资源分配框架,对应hadoop里面的YARN,前面对业界资源管理框架有一个分析资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析:http://jiezhu2007.iteye.com/admin/blogs/2049073。

总的来说:

1、BADS是名校伯克利一群博士,教授鼓捣出来的,理念很超前,同时也有另外一层含义学术氛围浓,各个组件还需要时间完善。

2、这里面最重要的是spark,代表了内存发展的方向,包括cloudera/Hortonworks都把spark包括在自己的发型版本里面了,相信后面应该会有一个长足的发展。

3、书中更多的内容,大家自己去看吧,相信对你应该会有很大的启发。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-06-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱塘大数据

不懂这25个名词,好意思说你懂大数据?

作者:机器之心 如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。近日,Ramesh Dontha在DataConomy上连发两篇文章,扼要而全面地...

35611
来自专栏飞总聊IT

大数据那些事(17):DoNotEvil公司的程序猿味

这篇文章填一下以前写的时候留下来的坑。 前些天和几个DoNotEvil公司的朋友一起吃饭,做那个著名的display ads的。聊到对方怎么样去用著名的Span...

30910
来自专栏钱塘大数据

【推荐阅读】大数据分析的6个核心技术

目前,大数据领域每年都会涌现出大量新的技术,成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经...

2675
来自专栏IT技术精选文摘

使用Kafka在生产环境中构建和部署可扩展的机器学习

1337
来自专栏悦思悦读

大数据基本概念浅析及技术简介

大数据是当前很热的一个词。这几年来,云计算、继而大数据,成了整个社会的热点,不管什么,都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?...

3357
来自专栏大数据和云计算技术

大数据和云计算技术周报(第61期)

大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

982
来自专栏PPV课数据科学社区

不懂这25个名词,好意思说你懂大数据?

如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。近日,Ramesh Dontha在DataConomy上连发两篇文章,扼要而全面地介绍了关于大数据...

2607
来自专栏企鹅号快讯

25个大数据术语,你知道几个?了解几个?

如果你初来乍到,大数据看起来很吓人!根据你掌握的基本理论,让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。 让我们开始吧: ...

1767
来自专栏机器之心

资源 | 关于大数据,你应该知道的75个专业术语

选自DataConomy 机器之心编译 近日,Ramesh Dontha 在 DataConomy 上连发两篇文章,扼要而全面地介绍了关于大数据的 75 个核心...

3356
来自专栏喔家ArchiSelf

tataUFO 大数据应用实践

感谢tataUFO各位同仁的大力支持,帮助我顺利完成了在QingCloud Insigt 2016技术大会上的演讲,特将讲稿PPT分享出来,共勉!

774

扫描关注云+社区