首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Local 转发按节点均分流量:加权绑定与健康检查窗口

Local 转发按节点均分流量:加权绑定与健康检查窗口

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-20 18:11:47
发布于 2026-11-20 18:11:47
410
举报

业务要在四层上看到客户端源 IP,把 Service 的 externalTrafficPolicy 改成 Local。源 IP 对了,流量却按节点倾斜:挂 1 个 Pod 的节点和挂 8 个 Pod 的节点接到的新连接差不多。副本少、滚动快时,还会出现一段连接超时。CLB 算法没有坏,是 Local 把均衡从 Pod 收成了节点,TKE 默认仍按节点挂后端。

均衡发生在节点,不在 Pod

externalTrafficPolicy 只管外部流量:NodePort、ExternalIP、LoadBalancer。Kubernetes 文档写明,设为 Local 时 kube-proxy 只转给本节点上 ready 的端点,本节点没有端点就不转发;设为 Cluster(默认)时可以转到其他节点,这一跳会做 SNAT,Pod 看到的源 IP 是节点地址。集群内访问 ClusterIP 走 internalTrafficPolicy,默认 Cluster,和这个字段无关。iptables 模式下访问 ClusterIP 本来就不会把源 IP 换成节点地址。不要用 Local 去修集群内调用。

TKE 的 LoadBalancer Service 默认把 CLB 后端挂到节点 NodePort,不挂 Pod。Service Controller 不挂 Master,也不挂 NotReady 节点。已 cordon、状态仍是 Unschedulable 的节点会继续挂着:默认模式下流量进节点后还能在容器网络里转发。Local 把这条退路拆了,没有本地 Pod 就丢包,不会转到别的节点。

CLB 看到的是节点。后端权重范围 0–100,文档默认值是 10,权重越大分到的新请求越多,0 不再接受新请求。没有加权时各节点权重相同,1 个 Pod 和 8 个 Pod 的节点接到的连接数接近,本节点内再分也补不回差距。会话保持会把已选中的节点钉住,倾斜不会随新请求自己抹平。

空节点靠健康检查摘,窗口里会丢

Local 打开后,TKE 默认仍把几乎所有节点的 NodePort 挂上 CLB,靠健康检查避开没有工作负载的节点。Kubernetes 建议云厂商探测 kube-proxy 的健康端口,默认 10256/healthz:Cluster 时 kube-proxy 正常且节点未在删除返回 200,Local 时还要本节点有端点。这是 Kubernetes 的约定,不是 TKE 写明的探测方式。TKE 只承诺健康检查会避开空节点,监听器上的检查端口以控制台为准。

新绑定的后端在“探测中”不接流量。健康检查概述里,这段时长按检查间隔乘以健康阈值估算,例子是间隔 2 秒、阈值 3 次,共 6 秒。四层从失败到判定不健康、或从成功到判定健康,时间窗都是检查间隔乘以(阈值减 1)。默认间隔 5 秒、阈值 3 次,时间窗是 10 秒。响应超时默认 2 秒,四层要求它小于检查间隔。监听器改过这些值,就按改过的算。

和 Local 叠在一起,有两个丢包点。

同步比滚动更新慢。Service 后端选择文档写明:副本很少、工作负载漂移或滚动很快时,后端来不及同步,服务可能不可用。旧节点上的 Pod 已经没了,新节点还在探测中,健康后端会空一段时间。

全死全活。同一个四层监听器下若所有后端都不健康,请求会转给所有权重非 0 的后端。这些节点上如果已经没有本地 Pod,包被丢掉,客户端看到超时,而不是拒绝。权重为 0 不参与这次转发,但健康检查仍会打到权重为 0 的后端。

自 Kubernetes 1.28 起,ProxyTerminatingEndpoints 为稳定特性。开启时,若本节点端点全部处于 terminating,kube-proxy 仍会把流量转给这些正在退出的端点,用来渡过两次探测之间的空窗。它覆盖不了“Pod 已删除、新节点还在探测中”的那段。

健康检查频率也会被放大,但这是默认 NodePort 模式的问题:控制台设 5 秒 1 次时,CLB 集群内每台物理机各自探测,一个间隔里后端可能收到多次,所有节点的探测都会打到工作负载上。Local 不能用 service.kubernetes.io/qcloud-loadbalancer-backends-label 去减后端,也不能在节点上打 node.kubernetes.io/exclude-from-external-load-balancers。这两条是文档里的禁止项,不是可选优化。

同一节还写了:Local 只适合低流量、低负载,不建议在生产环境使用。加权改变不了这个定位。生产要源 IP,优先直连。

两个注解必须一起加

网络模式暂时不能直连、又必须用 Local 留源 IP 时,只绑定和加权一起开。只加加权,空节点仍会占后端名额。

代码语言:yaml
复制
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  annotations:
    service.kubernetes.io/local-svc-only-bind-node-with-pod: "true"
    service.cloud.tencent.com/local-svc-weighted-balance: "true"
spec:
  type: LoadBalancer
  externalTrafficPolicy: Local
  selector:
    app: nginx
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: 80

local-svc-only-bind-node-with-pod 只绑定有工作负载的节点。local-svc-weighted-balance 按节点上的工作负载数量设置权重。文档要求二者同时使用。CLB 权重上限是 100,文档没有写“权重等于 Pod 数”。到监听器后端列表核对实际权重,不要用 Pod 数心算。

只绑定之后,风险从“打到空节点被丢”变成“新节点还没绑定,旧节点已经没有 Pod”。副本少时把滚动放慢,maxUnavailable 不要让所有本地端点同时消失,也不要和 HPA 缩容叠在同一次发布里。cordon 不会摘后端。Pod 从节点上消失后,只绑定注解才会把该节点摘掉,摘除要等控制器同步。同步完成前,控制台里应能看到新后端处于探测中,旧节点在 Pod 还在时不应先被摘成零健康后端。

能直连就不要用 Local 换源 IP

直连是 CLB 后端直接绑 Pod IP 和端口,不经 NodePort。没有这一跳 SNAT,源 IP 是客户端地址,均衡粒度是 Pod。直连文档的定位就是:要源 IP、要少一跳、要健康检查和会话保持到 Pod,而不是再开 Local。

代码语言:yaml
复制
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  annotations:
    service.cloud.tencent.com/direct-access: "true"
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: 80

先看集群基本信息里的网络插件:

  • VPC-CNI:集群版本高于 1.12,工作负载本身也要走弹性网卡。非带宽上移账号不能直连超级节点上的 Pod。
  • GlobalRouter:先改 kube-system/tke-service-controller-config,在 data 下增加 GlobalRouteDirectAccess: "true",再加 Service 注解。仅支持带宽上移账号。安全组要放通 CVM 上工作负载对应端口。控制台手动增加该键时,文档要求变量值填 true、不要带引号;YAML 里则是带引号的字符串。不要把 Pod 调度到黑石机型 BMG5n.24XLARGE384,GlobalRouter 直连不支持该机型。
  • Cilium-Overlay:不支持直连。要源 IP 只能留在 Local,用上一节两个注解收窄倾斜,并接受文档“不建议生产使用”的限制。
  • Serverless 集群默认直连,不必再加注解。

配额分两处看。使用约束写一个监听器或转发规则默认可绑定 100 个后端;直连文档写默认限制通常是 100 或 200,与地域有关。以控制台配额为准。超过配额的 Pod 不会被自动绑上,流量也不会分给没绑上的副本。

从 NodePort 迁到直连,源 IP 会从节点地址变成客户端地址,按节点 IP 做白名单的会突然全拒。迁移时不要处于滚动更新中。文档建议 TCP 监听器开启双向 RESET。直连用 ReadinessGate 把 Pod Ready 和“已绑定且健康检查通过”绑在一起,滚动会变慢。ReadinessGate 只覆盖接入时的流量就绪,不反映之后的持续健康。

上线后核对分布,而不是只看健康列

service.kubernetes.io/loadbalance-id 是只读注解,值是这只 Service 引用的 CLB。用它到控制台对后端权重。

代码语言:bash
复制
kubectl -n demo get svc nginx-service -o jsonpath='{.spec.externalTrafficPolicy}{"\n"}'
kubectl -n demo get svc nginx-service -o jsonpath='{range $k,$v := .metadata.annotations}{$k}={$v}{"\n"}{end}'
kubectl -n demo get pod -l app=nginx -o jsonpath='{range .items[*]}{.spec.nodeName}{"\n"}{end}' | sort | uniq -c

策略未设置时第一行是空,默认 Cluster。Local 方案要看到 Local,以及两个注解都是 true。直连方案要看到 service.cloud.tencent.com/direct-access=true,不必再是 Local。uniq -c 是各节点 Pod 数。监听器后端权重应和这个分布同向;各节点权重相同,就是还在按节点均分。

字段形状类似下面,ID 和节点名是示例:

代码语言:plaintext
复制
Local
service.kubernetes.io/local-svc-only-bind-node-with-pod=true
service.cloud.tencent.com/local-svc-weighted-balance=true
service.kubernetes.io/loadbalance-id=lb-example
      1 node-a
      8 node-b

滚动时看两端:新后端探测中不应接流量;若全部后端异常,全死全活会把新请求打给所有非 0 权重节点,Local 且节点上已无 Pod 时这些请求被丢。用访问日志里的 Pod 名做分布,不要把探测源算进客户端。应用型负载均衡的探测源是 CLB VIP 或 100.64.0.0/10;传统型内网是 169.254.128.0/17。健康列只说明探测通不通。

上线前检查

  • 要源 IP 或少一跳,网络模式允许时用 direct-access: "true",不要为源 IP 开 Local。
  • 必须 Local 时,两个注解一起加。不要搭配 qcloud-loadbalancer-backends-label 或 exclude-from-external-load-balancers。
  • 权重到监听器核对,范围 0–100。会话保持开着时用新连接验证,旧连接说明不了权重是否生效。
  • 副本少、滚动快时,先接受同步窗口:探测中不接流量,全死全活会打回所有非 0 权重节点。
  • cordon 不摘后端。要停流量,先排空 Pod,再确认后端已解绑。
  • Cilium-Overlay 不能直连。VPC-CNI、GlobalRouter 的账号类型、安全组和配额分开核对。GlobalRouter 先看 ConfigMap 里的 GlobalRouteDirectAccess。

参考文档:

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 均衡发生在节点,不在 Pod
  • 空节点靠健康检查摘,窗口里会丢
  • 两个注解必须一起加
  • 能直连就不要用 Local 换源 IP
  • 上线后核对分布,而不是只看健康列
  • 上线前检查
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档