前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【HDFS】集群高可用

【HDFS】集群高可用

作者头像
十里桃花舞丶
发布2021-09-10 11:17:38
4610
发布2021-09-10 11:17:38
举报
文章被收录于专栏:桥路_大数据

集群高可用

HDFS单节点架构存在的问题

img
img

HDFS单点架构存在一些问题,首先是NameNode内存受限,因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大,可能会将NameNode内存占满,这种情况下会导致HDFS的扩展性上限。

其次就是单点故障问题,主从架构的HDFS是依靠主节点NameNode来运转的,一旦主节点挂掉就会导致整个集群不可用。

Federation(联邦)机制

联邦机制是Hadoop 2.x中提出的解决NameNode内存瓶颈问题的水平横向扩展方案。

它将多台NameNode组成联邦,每一台NameNode负责存储一部分元数据信息,共同负责HDFS的正常运行。

img
img

联邦机制解决了NameNode单点的内存限制,提升了HDFS的扩展性能。

NameNode High Availability(高可用)机制

NameNode High Availability高可用机制是Hadoop 2.x中提出的,用于解决NameNode单节点故障问题的方案。实现高可用,至少提供两台NameNode做热备:Active、Standby&#

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/08/18 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 集群高可用
    • HDFS单节点架构存在的问题
      • Federation(联邦)机制
        • NameNode High Availability(高可用)机制
        相关产品与服务
        大数据
        全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档