前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Why Hadoop2

Why Hadoop2

作者头像
jiewuyou
发布2022-09-29 14:58:37
1450
发布2022-09-29 14:58:37
举报
文章被收录于专栏:数据人生数据人生

自从Hadoop2出现之后,其迅速取代了Hadoop1的地位,并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话,往往直接采用Hadoop2了。

Hadoop2能被如此广泛的使用,肯定有其自身的优势,本文将对其进行梳理

支持更多的计算框架

Hadoop1采用的计算框架是MapReduce,MapReduce是批处理计算框架,适合做海量数据的离线处理。为了让Hadoop能支持到更多的应用场合,更多的计算框架,YARN应运而生,它极大的拓展了Hadoop的使用场合。

采用YARN框架后,会带来另外一个好处。为了让集群能满足企业的需求,企业往往将不同的计算框架部署到不同的集群上,在采用YARN后,企业可以将这些计算框架部署在一个集群上,极大的提升了集群的利用率,并且减少了运维成本

集群拓展性更强

Hadoop1只能支持数千台计算机的容量,这是因为NameNode和JobTracker的内存容量有限导致的。在HDFS2采用Federation,Hadoop将jobtracker的逻辑拆分后,Hadoop集群的拓展性得到了质的提升。

集群资源利用率更高

下面两张图是twitter分别采用Hadoop1和Hadoop2时,集群资源利用率的对比

HDFS和RM单点故障的解决

在Hadoop1上,HDFS和JobTracker是存在单点故障的,主节点崩溃后,集群也随之崩溃,而在Hadoop2上,当采用HA机制后,单点故障解决了。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2014-07-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 支持更多的计算框架
  • 集群拓展性更强
  • 集群资源利用率更高
  • HDFS和RM单点故障的解决
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档