文档中心 容器服务 用户指南 容器服务高危操作

容器服务高危操作

最近更新时间:2019-12-05 20:33:54

业务部署或运行过程中,用户可能会触发不同层面的高危操作,导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险,本文将从集群、网络与负载均衡、日志、云硬盘多个维度出发,为用户展示哪些高危操作会导致怎样的后果,以及为用户提供相应的误操作解决方案。

集群

分类 高危操作 导致后果 误操作解决方案
master 及 etcd 节点 修改集群内节点安全组 可能导致 master 节点无法使用 按照官网推荐配置放通安全组
节点到期或被销毁 该 master 节点不可用 不可恢复
重装操作系统 master 组件被删除 不可恢复
自行升级 master 或者 etcd 组件版本 可能导致集群无法使用 回退到原始版本
删除或格式化节点 /etc/kubernetes 等核心目录数据 该 master 节点不可用 不可恢复
更改节点 IP 该 master 节点不可用 改回原 IP
自行修改核心组件(etcd、kube-apiserver、docker 等)参数 可能导致 master 节点不可用 按照官网推荐配置参数
自行更换 master 或 etcd 证书 可能导致集群不可用 不可恢复
worker 节点 修改集群内节点安全组 可能导致节点无法使用 按照官网推荐配置放通安全组
节点到期或被销毁 该节点不可用 不可恢复
重装操作系统 节点组件被删除 节点移出再加入集群
自行升级节点组件版本 可能导致节点无法使用 回退到原始版本
更改节点 IP 节点不可用 改回原 IP
自行修改核心组件(etcd、kube-apiserver、docker 等)参数 可能导致节点不可用 按照官网推荐配置参数
修改操作系统配置 可能导致节点不可用 尝试还原配置项或删除节点重新购买
其他 在 CAM 中执行权限变更或修改的操作 集群部分资源如负载均衡可能无法创建成功 恢复权限

网络与负载均衡

高危操作 导致后果 误操作解决方案
修改内核参数 net.ipv4.ip_forward=0 网络不通 修改内核参数为 net.ipv4.ip_forward=1
修改内核参数 net.ipv4.tcp_tw_recycle = 1 导致 nat 异常 修改内核参数 net.ipv4.tcp_tw_recycle = 0
节点安全组配置未放通容器 CIDR 的53端口 udp 集群内 DNS 无法正常工作 按照官网推荐配置放通安全组
修改或者删除 TKE 添加的 LB 的标签 购买新的 LB 恢复 LB 的标签
通过 LB 的控制台在 TKE 管理的 LB 创建自定义的监听器 所做修改被 TKE 侧重置 通过 service 的 yaml 来自动创建监听器
通过 LB 的控制台在 TKE 管理的 LB 绑定自定义的后端 rs 禁止手动绑定后端 rs
通过 LB 的控制台修改 TKE 管理的 LB 的证书 通过 ingress 的 yaml 来自动管理证书
通过 LB 的控制台修改 TKE 管理的 LB 监听器名称 禁止修改 TKE 管理的 LB 监听器名称

日志

高危操作 导致后果 误操作解决方案
删除宿主机 /tmp/ccs-log-collector/pos 目录 日志重复采集
删除宿主机 /tmp/ccs-log-collector/buffer 目录 日志丢失

云硬盘

高危操作 导致后果 误操作解决方案 备注
控制台手动解挂 CBS Pod 写入报 io error 删掉 node上mount 目录,重新调度 Pod Pos 里面的文件记录了文件的采集位置
节点上 umount 磁盘挂载路径 Pod 写入本地磁盘 重新 mount 对应目录到 Pod 中 Buffer 里面是代消费的日志缓存文件
节点上直接操作 CBS 块设备 Pod 写入本地磁盘