首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据Hadoop和Spark哪个更重要一些?内含学习资料

当前有不少公司将Spark和Hadoop同步使用,从一名使用者的角度来看,Spark作为一种大数据通用的计算引擎,可能目前尚未成熟,但有朝一日替代Hadoop并非不可能。

1. 相同的算法,Spark比Hadoop快数倍,如果是一些迭代或者要对数据反复读取的算法,Spark比Hadoop快数十倍至上百倍;

2. Spark对于数据的操作种类更多,对于一些比较特殊的计算需求,比如求两个集合的交集并集,Spark都有函数直接计算,而Hadoop实现这样的计算无比繁琐;

3. Spark的开发效率比Hadoop高很多。

但同时也要看到,Hadoop作为一种分布式系统基础架构,在目前的企业应用中是比较容易实现的,而且实施成本较低。它的开源特性也使其较为实用。

从内容层面来讲,Spark也并非无懈可击,目前来看Spark还有很多bug,而且可以看的资料也不多。

对于大数据的学习者来说,小编还是建议两者都不要轻视,都应该当做重点来学习,因为两者目前在企业中的应用都是比价广泛而重要的。如果有同学需要Hadoop和Spark资料的同学可以私信小编。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180127A082JI00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券