首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >gRPC 经四层均衡打不平:连接复用、pick_first 与连接老化

gRPC 经四层均衡打不平:连接复用、pick_first 与连接老化

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-19 09:15:09
发布于 2026-11-19 09:15:09
190
举报

扩容之后新 Pod 几乎没有流量,旧 Pod 的延迟先顶满。健康检查是绿的,后端权重也相同。客户端上往往只有一条通往 Service 的 TCP,这条连接却承载着该进程的全部 RPC。四层均衡按连接选后端,gRPC 把多个 RPC 复用在同一条 HTTP/2 连接上,调度单位对不上。

四层调度的单位是连接

CLB 的加权轮询按新建连接数调度:权重高的后端先拿到连接,相同权重处理相同数目的连接。加权最小连接数比较的是 ci/wi(当前连接数除以权重),相同再退回加权轮询。文档把前者用于短连接,把后者用于长连接,并建议已有连接的集群加机器时用最小连接数,让新机器尽快接到新连接。

gRPC 基于 HTTP/2,一条 TCP 上可以同时有很多 stream。一个进程对一个目标地址通常只维持少数连接,之后的 unary 和 stream 都复用它们。四层设备看到的是这条连接,不是连接上的调用次数。改成加权最小连接数之后,热连接的 ci 仍是 1。已建立的连接也不会因为加了后端而被拆开,新 Pod 只能等客户端新建连接。

普通 Service 的 A/AAAA 记录是一个集群 IP,新建连接时被分到某个 Pod,后续数据都进这个 Pod。CLB 四层监听器按 VIP 加端口转发,不看 HTTP/2 的 stream。TKE 直连 Pod IP 改变的是转发路径,不是调度单位。TCP 会话保持按源 IP 固定后端,和连接粘滞叠在一起,共用 NAT 出口时会更偏。加权最小连接数还不能和会话保持同时开。

pick_first 把多地址收成一条连接

service config 的默认策略是 pick_first。grpc-go 与官方示例一致:连上第一个地址就把全部 RPC 发给它,失败再试下一个。解析出多个 Pod IP 也只会用其中一个,直到这条连接失败。

round_robin 会连接它看到的每个地址,并按 RPC 轮转。官方示例写了两个边界:流选定连接之后,后续消息仍走这条连接;某个地址还没就绪时,RPC 落到已经就绪的连接上。策略不会制造地址。目标是集群 IP、CLB VIP 或写死的 IP 时,列表长度是 1,两种策略没有差别。当前 grpc-go 用 grpc.NewClient 加 WithDefaultServiceConfig 指定策略,这两种策略默认可用。目标如果是 IP,DNS resolver 直接采用该地址,不再监听变更。

集群内用 headless 把 Pod IP 交给客户端

Headless Service(clusterIP: None)的 A/AAAA 记录是它选中的 Pod IP,文档要求客户端自己消费这一组地址。未 Ready 的 Pod 默认不在记录里,除非 publishNotReadyAddresses 为 true。不要为了让新 Pod 快点出现就打开它,没通过就绪检查的实例会进入轮询。

代码语言:yaml
复制
apiVersion: v1
kind: Service
metadata:
  name: checkout
  namespace: prod
spec:
  clusterIP: None
  selector:
    app: checkout
  ports:
    - name: grpc
      port: 50051
      targetPort: 50051

拨号用 DNS scheme、完整集群域名和端口。三个斜杠表示 authority 留空,走系统 resolver。grpc-go 没写端口时用 443。短名会走 search 列表,这里写集群域名。

代码语言:go
复制
import (
    "google.golang.org/grpc"
    "google.golang.org/grpc/credentials/insecure"
)

func dialCheckout() (*grpc.ClientConn, error) {
    return grpc.NewClient(
        "dns:///checkout.prod.svc.cluster.local:50051",
        grpc.WithDefaultServiceConfig(`{"loadBalancingConfig": [{"round_robin":{}}]}`),
        grpc.WithTransportCredentials(insecure.NewCredentials()),
    )
}

没有 TLS 的集群内调用才用这段凭证,走证书时只换传输凭证。客户端要能直连 Pod IP,网络策略放行该端口。连接数约等于客户端进程数乘以地址数,先用这个乘积对一下 fd 和 conntrack。

新 Pod 进列表要靠断连,单 VIP 还有上限

round_robin 只在当前地址列表里轮转。当前 grpc-go 的 DNS resolver 成功解析后停在 ResolveNow 上,不会按固定周期轮询。MinResolutionInterval 默认 30 秒,是两次解析的最短间隔,进程启动时可以改,它不是协议规定的刷新周期。换语言或升级后,先核对 resolver 是周期查询,还是只在被触发时查询。

当前主干里,ClientConn 在传输关掉,或一轮地址全部连接失败时调用 ResolveNow。连接一直健康,新 Pod 就不会进入列表。删除会把连接打断,比较容易被发现;扩容是安静的,反而容易漏。

MaxConnectionAge 默认无限。设上之后,超时就发 GOAWAY,并加正负 10% 抖动,避免同时重连。连接关掉,客户端才会重新解析。MaxConnectionAgeGrace 是 GOAWAY 之后的附加宽限,结束后强制断开,在飞 RPC 失败。宽限要盖住打算在这条连接上做完的调用。

代码语言:go
复制
import (
    "time"

    "google.golang.org/grpc"
    "google.golang.org/grpc/keepalive"
)

func newGRPCServer() *grpc.Server {
    return grpc.NewServer(
        grpc.KeepaliveParams(keepalive.ServerParameters{
            MaxConnectionAge:      10 * time.Minute,
            MaxConnectionAgeGrace: 20 * time.Second,
        }),
    )
}

10 分钟和 20 秒只是示例,不是默认值。官方示例用 30 秒和 5 秒是为了演示 GOAWAY,抄进生产会切断长流,重连叠成尖峰。年龄按能接受的「新 Pod 最迟多久接到流量」来选,宽限按要保住的 RPC 时长来选。热路径不要用 MaxConnectionIdle 代替,它只在没有在飞 RPC 时起算。

经过一个 VIP 时,客户端只有一个地址,round_robin 没有对象。老化只让连接到期重建,四层再选一次后端。同一时刻有流量的后端数不会超过客户端连接数。后端比连接多出来的部分,没有连接可接。

能拆 stream 的是七层。CLB 的 HTTPS 监听器可以把后端协议选为 gRPC,限制是:仅负载均衡类型,传统型不支持;仅 VPC;后端不支持 SCF;只有开启 HTTP/2 且关闭 QUIC,才允许选 gRPC。同一份文档里,加权轮询仍按新建连接数调度。「启用长连接」还在内测,打开后与后端的连接数在 QPS 到 QPS 的 60 倍之间波动。改监听器协议不等于请求已经打平。已有终止 HTTP/2 的 sidecar 时,让 sidecar 按请求转发,应用只连本机。

路径

客户端看到的地址

调度单位

扩容之后

headless 加 round_robin

每个 Ready Pod 的 IP

RPC

要等下一次解析

四层 VIP 加连接老化

一个 VIP

连接

到期换后端,同时有流量的后端数不超过连接数

CLB HTTPS,后端协议为 gRPC

一个 VIP

文档仍按新建连接描述轮询

用连接数和 RPC 速率验收

用连接数对照 RPC 数

先看解析结果是一组 Pod IP 还是一个 VIP。域名是示例。

代码语言:bash
复制
dig +short checkout.prod.svc.cluster.local A

只有一个地址就先停。压测时数每个 Pod 的已建立连接。ss 第一行是表头,从第二行计数。

代码语言:bash
复制
kubectl get pods -n prod -l app=checkout -o name | while read -r pod; do
  n=$(kubectl exec -n prod "$pod" -- ss -tn state established '( sport = :50051 )' | awk 'NR>1 {c++} END {print c+0}')
  printf '%s %s\n' "$pod" "$n"
done

没有 ss 的镜像读 /proc/net/tcp。50051 的十六进制端口是 C383,状态列 01 是 ESTABLISHED,内核用大写。

代码语言:bash
复制
awk 'NR>1 && $4=="01" {p=substr($2, index($2,":")+1); if (p=="C383") c++} END {print c+0}' /proc/net/tcp /proc/net/tcp6

连接数还要和每个 Pod 的 RPC 速率对照。服务端用 peer.FromContext 取对端地址,包是 google.golang.org/grpc/peer。客户端均衡成立时,每个 Ready Pod 都有来自该客户端的连接,RPC 不留在扩容前的旧 Pod 上。单 VIP 加老化成立时,连接会换后端,但同一时刻有流量的后端数不超过连接数。两条都不满足,改权重和改算法都没有对象。

常见误区

改成加权最小连接数,比较的仍是连接数,一条打满 CPU 的 gRPC 连接在算法里还是 1。只加 round_robin、目标却是普通 Service 或 CLB 域名,地址不足两个等于没开始。headless 之后 Endpoint 变为 Ready,不表示 grpc-go 已经重新解析。官方示例的 30 秒年龄和 5 秒宽限是演示参数。打开 publishNotReadyAddresses,或在四层监听器上按源 IP 做会话保持,都会把不该粘在一起的流量粘住。HTTPS 后端改成 gRPC 之后仍要用连接数和 RPC 速率验收,内测中的长连接不能当结论。

上线前对一下:下一跳是 Pod IP 集合还是一个 VIP;客户端不是默认的 pick_first,目标是 dns:/// 加主机名和端口;没有放行未就绪地址,探针表示能接 RPC,而不只是端口可连;算过客户端数乘以地址数;走四层 VIP 时接受有流量的后端数不超过连接数,并设了有限的年龄和足够的宽限;七层改动用实测验收。扩容一个 Pod 压一次,确认新 Pod 在下一次解析之后接到连接。

参考文档:

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 四层调度的单位是连接
  • pick_first 把多地址收成一条连接
  • 集群内用 headless 把 Pod IP 交给客户端
  • 新 Pod 进列表要靠断连,单 VIP 还有上限
  • 用连接数对照 RPC 数
  • 常见误区
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档