TKE 集群中节点移入再移出操作指引

操作场景

在容器服务 TKE 的众多场景中，例如 K8S 版本升级、内核版本升级等，都需要进行节点移出再移入的操作。本文详细介绍了节点移出再移入的过程，主要分为以下几个步骤：

1. 驱逐节点上运行的 Pod。
2. 将节点移出集群再重新添加到集群，该节点将重装系统。
3. 解除封锁。

注意事项

• 如果单个集群中的多个节点都需进行移出再移入操作，建议逐个节点进行。即先完成单个节点移出再移入操作，并验证服务正常，再进行下一个节点的移出再移入操作，直到多个节点依次完成。
• 如果单个账号下的多个集群都需进行节点移出再移出操作，建议分批执行。且在每操作完一个集群之后，立即验证集群状态是否正常。

操作步骤

步骤1：驱逐 Pod

在集群节点进行移入再移出操作之前，需先将待移出节点上的 Pod 驱逐到其他节点上运行。驱逐的过程即逐个删除节点上的 Pod，再前往其他节点进行重建的过程，操作原理请参考 驱逐原理。

驱逐前检查

驱逐的过程涉及了 Pod 的重建，可能会对集群中的服务造成影响，因此建议在驱逐前执行如下检查：

1. 检查集群中的剩余节点是否有足够资源去运行待驱逐节点上的 Pod。
   节点的资源分配情况可通过 TKE 控制台查看。在 “集群列表” 页面，选择集群 ID >【节点管理】> 节点，检查“节点列表”页面中的“已分配/总资源”。如下图所示：
   
   如果节点的剩余资源不足，建议您向集群中新增节点，防止被驱逐的 Pod 出现无法运行的情况，从而对服务造成影响。
2. 检查集群中是否有配置主动驱逐保护 PodDisruptionBudget（PDB）。
   主动驱逐保护会中断驱逐操作的执行，建议先删除主动驱逐保护 PDB。
3. 检查集群中是否存在单个服务的所有 Pod 都落在待驱逐的节点上。
   如果单个服务的所有 Pod 都落在同一个节点上，驱逐 Pod 的动作会造成整个服务不可用。建议判断该服务是否强要求 Pod 都落在同一个节点上：
   • 否，建议给服务增加反亲和性调度。
   • 是，建议选择在业务低流量或者无流量的时间段内操作。
4. 检查服务是否使用了本地盘（hostpath）。
   如果服务使用了 hostpath volume 方式，则当 Pod 被调度到其他节点上时，数据会丢失，可能会对业务造成影响。如果是重要数据，建议先备份再进行驱逐。

说明：

目前 kubelet 的镜像拉取策略是串行的，如果短时间内有大量的 Pod 都被调度到同一个节点上之后，Pod 的启动时间有可能会变长。

具体操作

目前，对于 TKE 集群可以有以下两种方式完成驱逐：

• 通过 TKE 控制台进行驱逐。
• 通过 kubectl drain 命令行进行驱逐。

通过 TKE 控制台驱逐

1. 在集群列表页面，选择需驱逐节点的集群 ID，进入集群工作负载管理页。
2. 选择左侧导航栏中的【节点管理】>【节点】，进入“节点列表”页面。
3. 选择节点所在行右侧的【更多】>【驱逐】，以驱逐节点上运行的 Pod。如下图所示：
   

通过 kubectl drain 命令行驱逐

1. 请参考 使用标准登录方式登录 Linux 实例（推荐），登录节点。
2. 执行以下命令，进行该节点上 Pod 驱逐。

   kubectl drain node <node-name>

步骤2：移出节点

说明：

当节点上运行的 Pod 被驱逐后，该节点处于封锁状态。

1. 在“节点列表”页面，单击节点所在行右侧的【移除】。
2. 在弹出窗口中，取消勾选“销毁按量计费的节点”，并单击【确定】即可将节点移除集群。如下图所示：

   说明：

   • 请记录该节点 ID，用于重新添加到集群。
   • 如果该节点是按量计费节点，注意不要勾选【销毁按量计费的节点】，销毁后不可恢复。包年包月计费模式的节点不支持销毁。

   

步骤3：重新加入该节点到集群

1. 在“节点列表”页面，单击页面上方的【添加已有节点】。
2. 在“选择节点”页面，输入记录的节点 ID，并单击。
3. 在搜索结果列表中勾选节点，并单击【下一步】进入云服务器配置页。如下图所示：
   
4. 在“云服务器配置”页面，【数据盘挂载】与【容器目录】默认不勾选。如果需要将容器和镜像存储在数据盘，则勾选【数据盘挂载】。如下图所示：
   

   注意：

   选择数据盘挂载时，已格式化的 ext3、ext4、xfs 文件系统的系统盘将直接挂载，其他文件系统或未格式化的数据盘将自动格式化为 ext4 并挂载。若您需保留数据盘数据并挂载，可参考 数据盘挂载。

5. 请根据实际情况进行登录密码及安全组设置，并单击【完成】，等待节点添加成功。

步骤4：解除封锁

说明：

节点添加成功后，处于封锁状态。

1. 在“节点列表”页面，选择该节点所在行右侧的【更多】>【取消封锁】。
2. 在弹出窗口中，单击【确定】即可解除封锁。

相关说明

驱逐原理

为了简化节点维护操作，K8S 引入了 drain 命令，其使用原理如下：

K8S 1.4 之后的版本，drain 操作为先对节点进行封锁，再对节点上的所有 Pod 进行删除操作。如果该 Pod 被 Deployment 等控制器所管理，则控制器在检查到 Pod 副本数减少的情况下，会重新创建一个 Pod ，调度到其他满足条件的节点上。如果该 Pod 是裸 Pod ，不被控制器管理，则驱逐后不会重新创建。

此过程是先删除，再创建，并非滚动更新。因此更新过程中，可能会导致被驱逐的服务部分请求失败，如果被驱逐的服务所有相关 Pod 都在被驱逐的节点上，则可能导致该服务完全不可用。

为了避免这一情况的出现， K8S 1.4 之后的版本引入了 PDB。只要在 PDB 策略文件中选中某个业务（一组 Pod），声明该业务可容忍的最小副本数量，此时再执行 drain 操作，将不再直接删除 Pod，而是会通过 evict api 检查是否满足 PDB 策略，只有在满足 PDB 策略的情况下才会对 Pod 进行删除，保护了业务可用性。需要注意的是，只有正确配置 PDB 策略才能保证 drain 操作时业务影响在可控范围内。

数据盘挂载

说明：

通过此步骤完成数据盘挂载，可保留数据，避免数据盘被格式化。

1. 在“云服务器配置”页面，不勾选【数据盘挂载】。
2. 打开“高级设置”，在“自定义数据”输入以下节点初始化脚本，并勾选【开启封锁】。如下图所示：
   

   systemctl stop kubelet  
   docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2)
   systemctl stop dockerd  
   echo '/dev/vdb   /data    ext4   noatime,acl,user_xattr 1 1' >> /etc/fstab
   mount -a
   sed -i 's#"graph": "/var/lib/docker",#"data-root": "/data/docker",#g' /etc/docker/daemon.json
   systemctl start dockerd  
   systemctl start kubelet 

3. 请根据实际情况进行登录密码及安全组设置，并单击【完成】，等待节点添加成功。