【云原生】Hadoop HA on k8s 环境部署

一、概述

在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲Hadoop HA on k8s 环境部署。

HDFS

YARN

二、开始部署

这里是基于非高可用编排的基础上改造。不了解的小伙伴，可以先看我上面的文章。

1）添加 journalNode 编排

1、控制器Statefulset

2、service

2）修改配置

1、修改values.yaml

2、修改hadoop/templates/hadoop-configmap.yaml

修改的内容比较多，这里就不贴出来了，最下面会给出git下载地址。

3）开始安装

HDFS WEB-nn1：http://192.168.182.110:31870/dfshealth.html#tab-overview

HDFS WEB-nn2：http://192.168.182.110:31871/dfshealth.html#tab-overview

YARN WEB-rm1：http://192.168.182.110:31088/cluster/cluster

YARN WEB-rm2：http://192.168.182.110:31089/cluster/cluster

4）测试验证

5）卸载

git下载地址：https://gitee.com/hadoop-bigdata/hadoop-ha-on-k8s