退役旧数据节点-黑名单退役

用户4128047

发布于 2025-12-23 16:08:02

1060

在黑名单上面的主机都会被强制退出。 1.在 NameNode 的 /opt/module/hadoop-2.7.2/etc/hadoop 目录下创建dfs.hosts.exclude 文件

[hadoop@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[hadoop@hadoop102 hadoop]$ touch dfs.hosts.exclude
[hadoop@hadoop102 hadoop]$ vi dfs.hosts.exclude

添加如下主机名称（要退役的节点） hadoop105 2．在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性

<property>
<name>dfs.hosts.exclude</name>
 <value>/opt/module/hadoop-
2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3．刷新 NameNode、刷新 ResourceManager

[hadoop@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[hadoop@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to 
ResourceManager at hadoop103/192.168.1.103:8033

检查 Web 浏览器，退役节点的状态为 decommission in progress（退役中），说明数据节点正在复制块到其他节点
等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改副本数后才能退役.

[hadoop@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh 
stop datanode
stopping datanode

[hadoop@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop 
nodemanager
stopping nodemanager

如果数据不均衡，可以用命令实现集群的再平衡

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-
2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp Iteration# Bytes Already Moved 
Bytes Left To Move Bytes Being Moved

注意：不允许白名单和黑名单中同时出现同一个主机名称。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021-03-17，如有侵权请联系 cloudcommunity@tencent.com 删除

浏览器