公司测试环境k8s节点故障解决
测试环境
ip地址 | 信息 |
|---|---|
192.168.1.215 | k8s主节点 、etcd |
192.168.1.216 | k8s从节点、etcd |
192.168.1.139 | kvm |
报错： 从215服务器上面可以看到使用k8s的命令就是没反应 要不就是回复的是时间超时！连接不上！ 尝试命令kubectl get pods 、kubectl get nodes等没反应超时！ 这个时候我们可以看看集群状态可以看到etcd处于宕机状态
#如果这个执行不成功的话那就执行看看etcd的健康状态
etcdctl cluster-health发现其中etcd集群都处于宕机状态，最起码要有两个节点是存活的才能保证集群正常运行！ 由于可能服务器ssh登录服务器可能会慢 尝试登录139服务器，215和216服务器都是从129虚出来的直接登录用过kvm的命令进行执行重启服务器 那么到了139服务器之后先看一下KVM虚拟机都有哪些 virsh list –all 可以看到服务器的列表
[root@zlw ~]# virsh list --all
Id Name State
----------------------------------------------------
50 windows_server_2008_r2 running
57 k8s_node02 running
70 docker5.tec.net running
71 k8s_node03 running
73 k8s_node01 running
- donghang shut off
- hywater shut off
- k8s-m1 shut off我们将主节点的和从节点的服务器进行重启
virsh reboot k8s_node01 ##进行重启
virsh reboot k8s-node02等待几分钟重启一下 然后我们分别登录到215和216服务器进行查看一下 然后215服务器可以看到服务都没有启动起来 我们先进行以读写的方式进行重新对系统进行以读写方式进行挂载然后进行启动服务并查看服务的运行状态为running正常
mount -o remount,rw / #以读写方式重新挂载
systemctl start docker && systemctl start etcd && systemctl start kubelet
#启动docker服务 #启动kubelet服务 #启动etcd服务
###然后进行查看运行状态
systemctl status docker #查看docker服务状态
systemctl status kubelet #查看kubelet服务状态
systemctl status etcd #查看etcd服务状态我们上216服务器进行查看服务状态他会自启动服务
systemctl start docker && systemctl start etcd && systemctl start kubelet
systemctl status docker
systemctl status kubelet
systemctl status etcd
###如果状态都为running则正常如果两台服务器都正常了，可以到215服务器进行测试看看 使用命令
kubectl get nodes
kubectl get cs可以发现可以使用命令，并且集群正常
治标不治本
根本原因还要去寻找，不然可能还会导致连续的宕机
治本
可能是节点的资源不够磁盘使用量过大导致的 然后再进行更新发布项目的时候会直接使k8s的主节点宕机 可以看看各个节点的磁盘状况然后进行清理一下 k8s的主节点磁盘使用率达到了85%然后其他节点也有的75% 经过排查看到日志文件过大导致的
#在目录下较多文件的情况下可以进行筛选大于1G的文件
find . -type f -size +1024M
#可以在/看看各个目录占用多大，在逐步排查具体文件
du -sh *
#发现/var目录占用较大
cd /var/log
du -sh *
##可以看到有两个文件已经一共10G也不是当天的可以进行清除#不要清楚正在使用的！！！
rm -rf messages-20200824
rm -rf messages-20200831
#在进行查看df -h磁盘空间变成了65%
#其他节点同理然后宕机的节点进行重启并启动服务使k8s正常运行
仅供参考
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/101948.html原文链接：
腾讯云开发者
