场景:TKE 标准集群里,订单服务用 Service LoadBalancer 挂内网 CLB。监听协议 TCP,端口 50051,均衡方式加权轮询,后端权重都是默认的 10,没有开四层会话保持。调用方是 4 个网关 Pod,grpc-go 1.85,每个进程到 CLB VIP 只维持一条 HTTP/2 连接,上面并发一百多个 stream,连接建上后几小时不拆。
现象:
- 高峰把后端从 2 个 Pod 扩到 8 个。8 个后端健康检查都正常,旧的 2 个 Pod 上业务连接数几乎不动,新的 6 个看不到调用方的 ESTAB,只有 100.64.0.0/10 的健康检查。
- 旧后端 CPU 打满,接口 P99 从几十毫秒抬到秒级;新后端 CPU 不到 10%,业务 QPS 接近 0。
已尝试:
- 均衡方式改成加权最小连接数。新拉起的第 5 个网关会连到空闲后端,原来 4 条已建立的 HTTP/2 连接不迁移,旧后端 QPS 几乎不降。
- 新后端权重仍是 10,旧后端改成 1,存量连接还是不搬。客户端加了 round_robin 的 service config,解析出来仍只有 CLB 一个地址,每个进程还是一条连接。重启调用方后,新连接落到了当时较空的后端;连接再次被拿住,后面再扩容又偏回去。
问题:
- 四层加权最小连接数是只决定新建 TCP 落到哪一台,还是能把已经复用在同一条 HTTP/2 上的 stream 重新分配?
- 改成 HTTPS 监听器、后端协议选 gRPC 之后,调度粒度会从连接变成单次 RPC,还是仍然按新建连接?CLB 到后端如果复用连接,不均会不会还在?
- 只有一个 VIP 时,客户端 round_robin 没有多个地址可挑。要让扩容生效,该让调用方定期拆连接,还是改 headless 直连 Pod?健康检查和滚动更新摘流放在哪一层更合适?