开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >从”时好时坏”到稳定运行：一次 Kubernetes 高可用集群 etcd 性能瓶颈的深度排查与修复

从”时好时坏”到稳定运行：一次 Kubernetes 高可用集群 etcd 性能瓶颈的深度排查与修复

作者头像

ceagle

发布于 2025-12-20 12:22:28

发布于 2025-12-20 12:22:28

200

举报

概述

本文完整记录了一次发生在 30+ 节点 Kubernetes 高可用集群中的典型控制平面不稳定问题。集群表现为”时好时坏”：kubectl 命令有时能正常执行，有时则报 connection refused。通过系统性排查，最终定位到根本原因是 etcd 节点磁盘 I/O 性能严重不足。文章详细还原了从现象观察、日志分析、健康检查到最终修复的全过程，并提供可复用的排查清单与生产环境加固建议。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

评论

登录后参与评论

0 条评论

热度

最新

目录

从”时好时坏”到稳定运行：一次 Kubernetes 高可用集群 etcd 性能瓶颈的深度排查与修复
- 摘要
- 一、问题现象：难以捉摸的”时好时坏”
- 二、初步定位：API Server 与 etcd 的关系
- 1. 检查 API Server 状态（详细命令）
- 2. 排除常见原因（详细命令）
- 三、关键突破：etcd 集群健康检查（完整命令集）
- 1. 执行 etcd 健康检查（详细命令）
- 2. 获取 etcd 集群详细状态
- 四、深入分析：定位 etcd 性能瓶颈（完整命令集）
- 1. 分析 etcd 日志（详细命令）
- 2. 检查系统资源（详细命令）
- 3. 确认部署模式（详细命令）
- 五、解决方案：迁移与优化（完整操作步骤）
- 1. 迁移 etcd 数据到专用 SSD（详细步骤）
- 2. 优化 etcd 配置参数（详细步骤）
- 3. 验证修复效果（完整验证命令集）
- 六、生产环境加固建议（可执行脚本）
- 1. etcd 监控告警配置（Prometheus）
- 2. 定期维护脚本（/usr/local/bin/etcd-maintenance.sh）
- 七、排查流程：控制平面不稳定问题快速定位手册
- 完整命令清单（按阶段分类）
- 阶段1：确认问题范围
- 阶段2：验证etcd健康状态
- 阶段3：定位etcd性能瓶颈
- 阶段4：紧急恢复
- 八、总结与思考
- 关键经验
- 技术选型反思
- 最后建议