首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >副本仍挤在同一可用区:软打散、minDomains 与污点

副本仍挤在同一可用区:软打散、minDomains 与污点

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-19 18:38:51
发布于 2026-11-19 18:38:51
180
举报

TKE 多可用区集群里,Deployment 副本数看起来够,一次可用区故障后服务仍可能全灭。调度事件里常常没有 FailedScheduling,节点 CPU 也没打满。副本不是没调度成功,而是从未被硬性拆开:自 Kubernetes 1.24 起,上游调度器对可用区只有软打散;改成硬约束之后,空域和污点仍会把倾斜算偏。

默认约束只打分,不拦截

Pod 没有写 topologySpreadConstraints,并且属于 Service、ReplicaSet、StatefulSet 或 ReplicationController 时,调度器才套用内置默认约束。Deployment 的 Pod 属于 ReplicaSet,会套上。1.24 起若没有另配集群级约束,等价于下面这一组。这是调度器内置行为,不是要 apply 的对象。

代码语言:yaml
复制
defaultConstraints:
  - maxSkew: 3
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: ScheduleAnyway
  - maxSkew: 5
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: ScheduleAnyway

ScheduleAnyway 不因为倾斜拒绝节点,只是让匹配 Pod 更少的域优先,再和资源均衡、镜像本地性等分数一起比较。某个可用区节点更多、剩余资源更空时,副本可以全部落在这一区。maxSkew: 5 在软约束下不是“最多差 5 个”的硬上限。托管控制面若改过调度器权重,分数会不同;会不会拦截,看有没有 FailedScheduling。集群建在多个可用区,不等于副本已经按区拆开。

kubernetes.io/hostname 一般由 kubelet 写入。topology.kubernetes.io/zone 不要假设一定存在。节点若不会同时带上这两个标签,应自己写约束。缺了约束所写的 topologyKey,该节点不参与这条打散。

硬约束比的是现有域的最小值

DoNotSchedule 时,maxSkew 才是允许的最大差值,相对各合格域里现有匹配 Pod 的最小值,不是相对平均值。三个区已有 2、2、1,maxSkew 为 1 时,全局最小值是 1,新 Pod 只能去已有 1 个的区。

可用区

已有 Pod

maxSkew: 1 时能否再放入

zone-a

2

不能,放入后差值是 2

zone-b

2

不能,放入后差值是 2

zone-c

1

能,放入后差值是 1

没有节点的可用区不是一个域。节点池缩到 0,或节点没有对应标签,调度器都看不见。只剩一个区有节点、又没设 minDomains 时,再放一个差值仍是 1,maxSkew: 1 也拦不住。硬约束保证的是现有域之间不要差太多,不是图纸上每个可用区都有副本。

topologyKey 必须和节点标签键完全一致。文档示例里的 zone 只是简写。写成 zone,或写成已废弃的 failure-domain.beta.kubernetes.io/zone,而节点上是 topology.kubernetes.io/zone,这些节点会被跳过:新 Pod 不去,已有 Pod 也不计入。

minDomains 只能和 DoNotSchedule 一起写,不写时按 1 处理。合格域数量已经达到它时,不再改变计算,均匀与否仍看 maxSkew。合格域更少时,全局最小值按 0 算。往某个域再放,放入后的数量不能超过 maxSkew,否则该域被滤掉;现有域都到顶就 Pending。1.28 起该字段默认可用;1.30 之前若关过 MinDomainsInPodTopologySpread,字段可能不存在。它不会创建节点。Pending 能否拉起空节点池,取决于自动伸缩会不会为这个 Pod 扩容,以及新节点带不带正确的 zone 标签。在线接口不要用它硬扛。

污点默认仍算进拓扑域

nodeTaintsPolicy 不写等于 Ignore,计算倾斜时不管污点。nodeAffinityPolicy 不写等于 Honor。两个默认相反。节点池污点、GPU 污点,以及 Pod 容忍不了的 NoSchedule,都会让 Pod 上不了那些节点,但 Ignore 仍把它们算成一个域。域里匹配 Pod 数是 0 时,全局最小值变成 0,硬约束只接受往这个空域调度;污点过滤再把节点去掉,交集为空,Pod 一直 Pending。事件原因是 didn't match pod topology spread constraints,不是 CPU 不够,也不是弹性网卡 IP 用尽。

1.26 起特性门 NodeInclusionPolicyInPodTopologySpread 默认打开,1.33 进入 GA。写成 Honor 后,Pod 不能容忍的污点节点不参与计算。1.25 该特性门默认关闭,更早没有这个字段。kubectl apply 对未知字段报 unknown field;有的客户端会直接丢掉,表现仍是 Ignore。先 kubectl explain。

写到模板上会换掉整组默认约束

Pod 上只要写了任意一条 topologySpreadConstraints,内置默认约束整组不再套用,不是合并。只写可用区硬约束,节点间软打散一并消失。选择器必须命中 Pod 自己的标签,并且只统计同一命名空间。对不上时,这个 Pod 不计入倾斜,后面的副本继续堆在同一位置。

同一 topologyKey 配同一种 whenUnsatisfiable 只能有一条。可用区和节点都写成 DoNotSchedule 且 maxSkew: 1 时,节点数不均会让交集为空。节点维度保持软约束。requiredDuringSchedulingIgnoredDuringExecution 的反亲和是每个域最多一个 Pod,副本数超过可用区数就 Pending。拓扑打散允许一区多个,只限制差值。

1.27 起用 matchLabelKeys 带上 pod-template-hash,滚动更新只在当前修订内打散。这个标签由 Deployment 控制器写入,不要手改,也不能和 labelSelector 的键重复。1.27 之前删掉 matchLabelKeys。1.26 之前删掉两处 nodeTaintsPolicy。看不到 minDomains 就删掉那一行。三个区都要有副本,把 minDomains 改成 3。镜像换成集群拉得动的地址。pause 只占位,拉取失败不要当成调度问题。

代码语言:yaml
复制
apiVersion: apps/v1
kind: Deployment
metadata:
  name: payments
  namespace: example
spec:
  replicas: 6
  selector:
    matchLabels:
      app: payments
  template:
    metadata:
      labels:
        app: payments
    spec:
      topologySpreadConstraints:
        - maxSkew: 1
          topologyKey: topology.kubernetes.io/zone
          whenUnsatisfiable: DoNotSchedule
          labelSelector:
            matchLabels:
              app: payments
          matchLabelKeys:
            - pod-template-hash
          nodeTaintsPolicy: Honor
          minDomains: 2
        - maxSkew: 1
          topologyKey: kubernetes.io/hostname
          whenUnsatisfiable: ScheduleAnyway
          labelSelector:
            matchLabels:
              app: payments
          nodeTaintsPolicy: Honor
      containers:
        - name: payments
          image: registry.k8s.io/pause:3.10
          resources:
            requests:
              cpu: 100m
              memory: 64Mi

发布和缩容不会把倾斜抹平

约束只在调度当时生效。缩容不会优先从副本多的区删 Pod,已在跑的 Pod 也不会迁移。官方文档把缩容后重新倾斜列为已知限制。可用区恢复后,故障期间挤进其他区的副本也不会自己搬回去。

没装 Descheduler 就不要假设有人在重排。它只是按策略驱逐,再交给调度器。没装的话,在 PDB 和最小副本数允许时,按区删掉多余 Pod,让它们按当前约束重建,并再数一遍落点。

上线前核对落点

代码语言:bash
复制
kubectl explain pod.spec.topologySpreadConstraints.minDomains
kubectl explain pod.spec.topologySpreadConstraints.nodeTaintsPolicy
kubectl get nodes -L topology.kubernetes.io/zone,topology.kubernetes.io/region

下面只统计 Running 的 Pod。某个区没出现,可能是没排上去,也可能是没有节点,对照上面的节点列表。没有输出就是还没有 Running 的 Pod。

代码语言:bash
复制
kubectl get pods -n example -l app=payments \
  --field-selector=status.phase=Running \
  -o jsonpath='{range .items[*]}{.spec.nodeName}{"\n"}{end}' \
| while read -r node; do
    zone=$(kubectl get node "$node" -o jsonpath='{.metadata.labels.topology\.kubernetes\.io/zone}')
    printf '%s\n' "${zone:-<no-zone-label>}"
  done | sort | uniq -c

Pending 时看事件,不要只看状态列。出现 didn't match pod topology spread constraints 就是硬约束滤掉了节点,接着区分域不够、污点把空域算进去,还是两条硬约束互相卡死。资源不足是另一句原因。

代码语言:bash
复制
kubectl get events -n example --field-selector=reason=FailedScheduling --sort-by=.metadata.creationTimestamp

上线前对一下:节点都有 topology.kubernetes.io/zone,且键值不是写错的;在线服务用的是 DoNotSchedule,不是只靠默认 ScheduleAnyway;写了约束之后补了节点维度的软打散;labelSelector 命中自己的标签;1.26 及以上是 nodeTaintsPolicy: Honor;minDomains 不超过真正会有节点的可用区数;缩容或可用区恢复后重新数过,倾斜不会自己恢复。

参考

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 默认约束只打分,不拦截
  • 硬约束比的是现有域的最小值
  • 污点默认仍算进拓扑域
  • 写到模板上会换掉整组默认约束
  • 发布和缩容不会把倾斜抹平
  • 上线前核对落点
  • 参考
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档