小年快乐，聊聊k8s常见故障！

近日见闻

今天是南方小年，祝各位朋友小年快乐，南方的朋友是怎么过的呢？我们北方一般就是吃饺子、贴窗花、大扫除、祭灶神等等。

预祝各位朋友新年快乐，学了俩新词，龙行龘龘（dá）前程朤朤（lǎng）！

上班的朋友一般都坐不住了吧这两天，毕竟快要过年了。

摘抄：

灶君爷爷您上天

嘴里吃了糖饧板

玉皇面前免开言

回到咱家过大年

有米有面有衣穿

k8s常见故障

Kubernetes（K8s）是一个开源的容器编排平台，用于自动化容器的部署、扩展和管理。尽管它是一个健壮的系统，但在使用中不可避免的会遇到一些故障。这些问题大致可以分为以下几类：

应用级故障:

容器启动失败，可能是由于配置错误、镜像问题、资源限制或依赖问题。

服务不可达，可能是由于网络策略、服务发现或负载均衡配置不当。

应用性能问题，可能是由于资源争夺、不恰当的资源分配或应用代码问题。

数据持久化问题:

持久卷挂载失败。

数据丢失或不一致，可能由于存储后端问题。

存储性能问题。

网络问题:

Pod间通信失败。

外部访问（Ingress或LoadBalancer）问题。

网络策略或防火墙配置错误导致的连接问题。

集群资源问题:

节点资源耗尽，如CPU、内存、磁盘空间。

Pod未能调度，由于资源不足、亲和性/反亲和性规则或污点/容忍设置。

节点宕机或网络分隔导致的资源不可用。

控制平面故障:

API服务器宕机或响应缓慢。

etcd集群问题，如数据不一致、性能问题或全面故障。

调度器、控制器管理器的故障。

节点级故障:

节点宕机。

kubelet故障。

容器运行时故障。

配置问题:

错误的配置文件导致Pod、服务或其他资源创建失败。

更新或升级过程中的配置不一致。

安全问题:

凭据泄露或不安全的权限设置。

服务账户的不当使用或RBAC策略配置错误。

监控和日志问题:

日志丢失或监控系统失败，使得问题难以诊断。

其他问题

资源耗尽：

版本升级问题：

处理Kubernetes的故障通常需要对系统有深入的理解，包括网络、存储、Linux系统、容器技术等多个方面的知识。定位问题时，经常需要查看Pod日志、事件、Kubernetes对象的状态和系统级指标。此外，咱还得制定相对应的资源管理策略，合理配置监控和告警系统，并制定灾难恢复计划。

案例

面对Kubernetes集群的故敜，无需惊慌！只要冷静沉着应对，总结一套属于自己的应对方法，掌握常见问题的解决策略，就可以保证k8s集群健康稳定运行，也能避免背运维黑锅。

1. 应用级故障

案例：Pod启动失败或反复重启

症状：Pods持续处于CrashLoopBackOff状态。

解决方案：

使用kubectl describe pod <pod_name>查看事件日志，关注Events区域的错误信息。

使用kubectl logs <pod_name>检查应用日志。

实战：某服务Pod频繁重启，日志显示内存溢出。通过检查，我们确定是内存资源限制设置不当。调整Pod的资源请求与限制，重启Pod后，服务稳定运行。

2. 数据持久化问题

案例：持久卷挂载失败

症状：状态为Pending的Pod，显示无法挂载PersistentVolumeClaim (PVC)。

解决方案：

检查PVC的状态确认是否有可用的PersistentVolume (PV)。kubectl get pvc db-data - 查看PVC状态。

确认存储类别(StorageClass)和访问模式(AccessModes)设置是否正确。

kubectl describe pvc db-data - 获取失败绑定的详细信息。

实战：发现PVC没有绑定到任何PV。通过创建与PVC匹配的PV，并确保存储类别和访问模式与PVC一致，问题得到解决，Pod顺利转入Running状态。

3. 网络问题

案例：服务不可达

症状：服务(Service)创建后，无法从集群外部访问。

解决方案：

检查是否有相应的Ingress资源配置，并确保Ingress控制器正常运行。

查看对应的Service是否配置了正确的类型，如LoadBalancer或NodePort。

kubectl get svc - 检查服务的类型和端口。

kubectl describe svc <service_name> - 查看服务详细配置和相关Endpoints。

对于类型为ClusterIP的服务，确保内部通信正常。

如果是LoadBalancer，检查云提供商的负载均衡器是否配置正确。

确保Ingress资源正确定义，并且Ingress控制器已部署。

实战：一个名为web-app的服务，未能从外部访问。确认服务类型为LoadBalancer，并发现云服务商的负载均衡器规则错误。修正规则后，服务恢复正常。

当然还有很多意外的故障，不能一一举例，但每个Kubernetes故障都是一个学习机会，深入了解背后的原理能够帮助我们更好地管理和维护集群。记得，最佳的学习方法是实践和分享。如果你喜欢这篇文章，请不吝点赞和转发。