【HDFS】集群高可用

集群高可用

HDFS单节点架构存在的问题

img

HDFS单点架构存在一些问题，首先是NameNode内存受限，因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大，可能会将NameNode内存占满，这种情况下会导致HDFS的扩展性上限。

其次就是单点故障问题，主从架构的HDFS是依靠主节点NameNode来运转的，一旦主节点挂掉就会导致整个集群不可用。

Federation（联邦）机制

联邦机制是Hadoop 2.x中提出的解决NameNode内存瓶颈问题的水平横向扩展方案。

它将多台NameNode组成联邦，每一台NameNode负责存储一部分元数据信息，共同负责HDFS的正常运行。

img

联邦机制解决了NameNode单点的内存限制，提升了HDFS的扩展性能。

NameNode High Availability（高可用）机制

NameNode High Availability高可用机制是Hadoop 2.x中提出的，用于解决NameNode单节点故障问题的方案。实现高可用，至少提供两台NameNode做热备：Active、Standby&#