前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kubernetes---记录一次排错

Kubernetes---记录一次排错

作者头像
院长技术
发布2021-02-19 14:23:23
5760
发布2021-02-19 14:23:23
举报
文章被收录于专栏:院长运维开发

问题介绍:

代码语言:javascript
复制
正在做实验
突然删除Pod卡死(Terminating)
kubectl top报错Error from server (ServiceUnavailable): the server is currently unable to handle the request (get pods.metrics.k8s.io)

查看节点状态:发现k8s-node3节点失联

代码语言:javascript
复制
[root@k8s-master1 ~]#kubectl get nodes
NAME          STATUS     ROLES    AGE   VERSION
k8s-master1   Ready      master   69d   v1.19.4
k8s-master2   Ready      master   69d   v1.19.4
k8s-master3   Ready      master   69d   v1.19.4
k8s-node1     Ready      <none>   69d   v1.19.4
k8s-node2     Ready      <none>   69d   v1.19.4
k8s-node3     NotReady   <none>   69d   v1.19.4

查看metrics-server所在的节点,发现也是在k8s-node3,事件信息显示节点不是准备状态,怪不得top坏了

代码语言:javascript
复制
[root@k8s-master1 ~]#kubectl describe pods -n kube-system metrics-server-b989695d4-wx5wx 
Name:                 metrics-server-b989695d4-wx5wx
Namespace:            kube-system
Priority:             2000000000
Priority Class Name:  system-cluster-critical
Node:                 k8s-node3/42.51.80.136
......
Events:
  Type     Reason        Age    From             Message
  ----     ------        ----   ----             -------
  Warning  NodeNotReady  8m41s  node-controller  Node is not ready

登录k8s-node3节点,查看kubelet状态,发现是关闭状态

启动kubelet服务并查看状态,起来了

再次在master节点查看节点状态,发现已经Reay了

我们删除metrics-server的Pod,让它重新调度

代码语言:javascript
复制
[root@k8s-master1 ~]#kubectl delete pods -n kube-system metrics-server-b989695d4-wx5wx 
pod "metrics-server-b989695d4-wx5wx" deleted

查看metrics-server信息,发现已经调度到了k8s-master2节点上了

使用top命令,也都恢复了

总结:

代码语言:javascript
复制
出问题确实很难受,但是不要被吓倒,一步一步排查,看不懂的翻译,总能查到解决办法。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-01-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档