TKE 上给节点做维护，有业务 Pod 时不要直接移出：先封锁，再驱逐，确认迁走后再移出。副本数够、驱逐却不结束，通常是 PodDisruptionBudget...

业务调 api.example.com 变慢，应用 QPS 往往没同比例涨，CoreDNS 的查询量和 CPU 先满。Pod 的 /etc/resolv.con...

接口已经变慢，监控上 Pod 的 CPU 使用量不低，HPA 副本数却停在最小值。伸缩策略写的是 CPU 利用率 60%。TKE 控制台里这条「利用率」有三条：...

短连接服务接到云数据库 MySQL 的数据库代理上之后，常见动作是把连接池打开，指望实例的 Threads_connected 掉下来。会话级连接池做不到。它留...

订单 Topic 只有 6 个分区，消费组已经扩到 20 个实例，堆积还在涨。同一个消费组里，一个分区同一时刻只分给一个消费者，多出来的实例空转。先分清是分区卡...

集群里的订单服务要调库存服务，地址配的是内网 CLB 的 VIP，和集群外调用方用的是同一个。有的 Pod 马上通，有的要等数秒，有的直接超时。换成 Servi...

只读组开了延迟剔除，订单详情仍会读到刚写进去的旧状态。云数据库 MySQL 的只读实例靠 binlog 回放追主库，剔除策略保的是组里还有实例接流量，不是这次提...

滚动更新时客户端收到连接重置或 502，旧 Pod 的 STATUS 仍是 Terminating，不说明业务函数没返回。删除一开始，CLB 摘流、Endpoi...

一条调用链上，网关、业务服务、数据访问层各自配了「失败重试 2 次」，单独看每一层都很合理。下游数据库抖动几十秒，监控却显示数据库收到的请求量翻了十几倍，抖动变...

密码设备高可用与异地容灾的工程拆解：从双机热备的健康检查判据与密钥同步三条路径，到切换瞬间的会话句柄失效与 RTO 实测口径 摘要：密码设备高可用的难点不在网...

我的项目结构是一个 monorepo：前端 + Node.js 服务端，服务端部署在云托管容器平台（按量计费、默认缩容到 0 的那类）。开发过程中我用 Work...

剧院票务系统的特点是"场次固定、开场时间刚性"。一场演出的开演时间是写死的，票卖不出去损失的是一场票房，系统在开演前出故障，损失的则是全场观众的入场秩序和口碑。...

高可用异地组网的关键，不在“拉两条线”，而在探测、判定、切换、回切、防脑裂五个机制是否可验证、可度量。很多企业已经把专线加宽带、双运营商接入铺到了每个分支，但主...

摘要： 云数据库 MySQL（腾讯云 TencentDB for MySQL）是腾讯云提供的托管式 MySQL 服务，100% 兼容 MySQL 协议，把部署、...

10 月 19 日凌晨两点四十四分，昆明公积金发了一条通告。存储系统集群节点故障，数据库运行异常。线下柜面和线上渠道，全部暂停。10 月 22 日，恢复时间定了...

故障防治系列新篇。前面聊了舱壁隔离、依赖度量——都是「建设防线」，这篇聊「验证防线」：故障演练。大多数团队对演练的认知停在「年度容灾大演习」——声势浩大、准备三...

故障防治系列新篇。前面聊了雪崩防治的舱壁模式——它有个前提：你得知道该隔离谁。这就是依赖治理的度量问题：一个跑了三年的服务，依赖图长什么样、哪些是隐形单点、哪些...

服务端系列新篇，聊故障传播的经典话题：雪崩。一个下游服务变慢，拖垮调用方线程池，调用方再拖垮它的上游——级联故障像多米诺。这篇把防雪崩的手段按层次讲清楚，重点讲...