Spark 和 Hadoop 是朋友不是敌人

6月15日,IBM 宣布计划大规模投资 Spark 相关技术,此项声明会促使越来越多的工程师学习 Spark 技术,并且大量的企业也会采用 Spark 技术。

Spark 投资的良性循环会使 Spark 技术发展更加成熟,并且可以从整个大数据环境中获益。然而,Spark 的快速增长给人们一个奇怪且固执的误解:Spark 将取代 Hadoop,而不是作为 Hadoop 的补充。这样的误解可以从类似“旨在比下 Hadoop 的新软件”和“企业将放弃大数据技术 Hadoop”的标题中看出来。

作为一个长期的大数据实践者,雅虎投资 Hadoop 的早期倡导者,一个为企业提供大数据服务的公司的 CEO ,我想在这篇文章中提出几个明确的观点。

Spark 和 Hadoop 会和谐相处。

越来越多的企业选择 Hadoop 做大数据平台,而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户 —— 包括 eBay 和雅虎 —— 都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。自从我们推出 Spark 之后,用户一直在使用着 Spark。

将 Spark 置于和 Hadoop 对立的位置,就好像是说你的新电动汽车看起来很高级,所以你的车就不需要充电一样。如果电动汽车真的普及的话,那只会带来更多的用电需求。

为什么这么迷惑呢?现在的 Hadoop 包括两个主要的组件。第一个是大规模储存系统,叫做 Hadoop Distributed File System (HDFS),它以低功耗、高性能的方式储存数据,并且能优化大数据的种类和读取速度。第二个是一个计算引擎,叫做 YARN,它能在储存在 HDFS 上的数据顶层运行大规模并行程序。

YARN 可以承载任何数量的程序框架。原始的框架是 MapReduce,它由谷歌发明,用于处理大规模页面抓取。Spark 是另一个类似的框架,另一个新的框架叫做 Tez。当人们谈论 Spark“干掉”Hadoop 时,他们往往指的是程序员更喜欢将 Spark 用在老的 MapReduce 框架上。

然而,MapReduce 不等同于 Hadoop。MapReduce 只是 Hadoop 集群处理数据的多种方式之一。Spark 可以是替代品。说得更宽点,商业分析师 —— 持续增长的大数据从业者 —— 会避免使用这两个对于程序员来说十分低端的框架。相反,他们会使用更高级的语言,例如 SQL ,来让 Hadoop 更容易访问。

在过去的四年中,基于 Hadoop 的大数据技术达到了前所未有的创新水平。我们已经从 SQL 批处理转向互动:从单一框架(MapReduce)转到多框架(MapReduce、Spark 等等)。

我们已经看到了 HDFS 优异的性能和安全性的改善,并且我们还看到了顶层工具的井喷 , 例如 Datameer、H20 和 Tableau。大量不同领域的数据科学家和商业用户使这些大数据工具变得更为易用。

Spark 对于 Hadoop 来说不是挑战,也不是来取代 Hadoop 的。相反,Hadoop 是 Spark 成长发展的基础。我们希望两个组织都能有长足的发展,并且成为将数据资产转化为可执行商业计划的最有活力的平台。

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2015-07-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏VRPinea

那么问题来了,这些VR手柄哪款最顺手?

5665
来自专栏腾讯社交用户体验设计

寓乐于教-青少年教育设计探索

? 腾讯ISUX isux.tencent.com 社交用户体验设计 ? 万能螺丝刀也拧不开眼镜框上的螺丝。如同万能螺丝刀一样,QQ也是一个通用的沟通工具,...

871
来自专栏腾讯高校合作

打车的江山 马蹄声狂乱 ——帝都滴滴抢修记

锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“...

3714
来自专栏企鹅号快讯

这个美女程序员写的代码,带人类成功登月

玛格丽特·汉密尔顿在 MIT 博物馆 玛格丽特·汉密尔顿(Margaret Hamilton)没有想着要发明现代软件的概念,并且还让人类登陆月球。那是1960 ...

1837
来自专栏非著名程序员

为什么外行认为写代码不值钱?

有朋友来找你,或者你朋友给你介绍了一个活,说要开发一个 App ,「很简单」,就是一个购物的,跟淘宝或者京东差不多?你感觉需要多少钱?

1313
来自专栏腾讯大讲堂的专栏

打车的江山 马蹄声狂乱 ——帝都滴滴抢修记

锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“...

20210
来自专栏逍遥剑客的游戏开发

游戏程序员的2012年终总结

2322
来自专栏程序员笔记

游戏 Idea:No.1 废墟

1467
来自专栏程序员的知识天地

程序员因写太多BUG,遭公司颁奖羞辱,一个比一个绝

一直以为,不会写bug的程序员,是一个非常不合格的程序员。不过bug写多了,好像也不是什么好事。这不,某位程序员同僚,因为赶项目的时候,写了太多的bug,虽说都...

892
来自专栏新智元

【快报】大公司齐聚Spark Summit | TensorFlow 支持 iOS

谷歌 谷歌发布 TensorFlow 0.9 测试版 支持 iOS 运行 ? 谷歌昨天发布机器学习平台 TensorFlow 新版本0.9,支持在 iOS 上运...

3806

扫码关注云+社区

领取腾讯云代金券