首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >CPU Limit 未打满也会节流:周期配额与延迟抖动

CPU Limit 未打满也会节流:周期配额与延迟抖动

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-19 15:19:14
发布于 2026-11-19 15:19:14
90
举报

接口延迟隔一会儿抖一下,节点上还有空闲 CPU,kubectl top 里这个容器的用量也低于它的 CPU Limit。这类抖动常常不是下游变慢,而是 CFS 把 CPU Limit 收成了周期配额:本周期的配额用完,线程会被掐到下一个周期,整机空着也没用。TKE 上的 kubelet 若沿用上游默认,会对写了 CPU Limit 的容器启用这套配额。节点有没有改过,以容器 cgroup 里的文件为准。下面的读法只适用于 Linux 节点。

使用率是窗口平均,掐停发生在一个周期里

CPU Limit 由内核按节流执行,超了不会把容器杀掉。kubelet 的 cpuCFSQuota 默认 true,只约束写了 CPU Limit 的容器;cpuCFSQuotaPeriod 默认 100ms,写进 cgroup 就是 cpu.cfs_period_us。这个值允许落在 1ms 到 1s,但非默认值要打开 CustomCPUCFSQuotaPeriod。先改 Limit,不要先改周期。

每个周期分到的 CPU 时间是 Limit 乘以周期。周期维持默认 100ms、Limit 为 200m 时,配额是 0.2 乘 100000 微秒,等于 20000 微秒,也就是 20ms。单线程请求若需要 40ms CPU,本周期只能跑 20ms,剩下的要等配额刷新,墙钟至少跨过一次周期边界。这一秒里若只有这一次请求,平均用量约 40m,只有 Limit 的两成。kubectl top 和监控曲线都是窗口平均,对不齐这几十毫秒。

配额会按 slice 发到各个 CPU,没吃完的 slice 不立刻作废。多线程进程偶尔能多跑出去一点,幅度大约是每个 CPU 1ms(编译期的 min_cfs_rq_runtime)。不要拿单次耗时和 20ms 做毫秒级对账,看节流计数。

没有 CPU Limit 时,v1 的 cpu.cfs_quota_us 是 -1,v2 的 cpu.max 默认形态是 max 100000:第一个数是每周期配额,max 表示不限制,第二个数是周期微秒。

在节点上读配额和节流计数

容器 ID 用完整十六进制,去掉 containerd:// 前缀,也不要截成 12 位。

代码语言:bash
复制
kubectl get pod -n example checkout-7d4f9c8b5-xk2mp \
  -o jsonpath='{.status.containerStatuses[?(@.name=="app")].containerID}{"\n"}'

到这个 Pod 所在节点上,用能读 /sys/fs/cgroup 的账号、用 bash 执行。权限不够时 find 会空,不要当成没有 cgroup。不要把脚本贴进 fish。

代码语言:bash
复制
#!/bin/bash
set -eu
CID="${1:?container id}"
mapfile -t dirs < <(find /sys/fs/cgroup -type d -name "*${CID}*" 2>/dev/null)
if [ "${#dirs[@]}" -eq 0 ]; then
  echo "no cgroup dir for ${CID}" >&2
  exit 1
fi
for d in "${dirs[@]}"; do
  if [ -f "$d/cpu.max" ]; then
    echo "cgroup=$d driver=v2"
    echo -n "cpu.max="; cat "$d/cpu.max"
    grep -E '^(nr_periods|nr_throttled|throttled_usec) ' "$d/cpu.stat" || true
    exit 0
  fi
  if [ -f "$d/cpu.cfs_quota_us" ]; then
    echo "cgroup=$d driver=v1"
    echo -n "quota_us="; cat "$d/cpu.cfs_quota_us"
    echo -n "period_us="; cat "$d/cpu.cfs_period_us"
    grep -E '^(nr_periods|nr_throttled|throttled_time) ' "$d/cpu.stat" || true
    exit 0
  fi
done
echo "found dirs but no cpu quota file" >&2
exit 1

v2 读到 20000 100000 就是 20ms / 100ms。v1 的 throttled_time 单位是纳秒,v2 的 throttled_usec 是微秒。v2 的 cpu.stat 只计本 cgroup 自己的限制,不含祖先;内核够新时,祖先造成的掐停在同目录 cpu.stat.local 的 throttled_usec,没有这个文件就只看本层。容器自己的 cpu.max 已是 max,本地节流时间仍在涨,就去父目录看有没有 Pod 级 spec.resources.limits.cpu(上游 1.34 起可写,默认开启的 Beta,集群关掉 feature gate 则没有)。v1 上父组配额耗尽时,子组自己还有配额也会被掐。

改 Limit 的形状,而不是改周期

调度保证的是 Request,节流看的是 Limit。节点忙起来,Request 更大的容器分到的 CPU 时间更多,那是权重,不是延迟保证。

做法

单次请求会不会被周期配额掐住

主要风险

去掉 CPU Limit,保留 Request

不会,能用节点上空闲的 CPU

节点打满时没有硬顶,只剩权重

Request 不动,Limit 高于并发所需

配额盖住同一周期内的并发 CPU 时间时不会

副本一起突发,节点仍可能打满

Request 等于 Limit

会,超出部分一定跨周期

接口延迟按周期抖动

在线接口优先第一种。内存 Limit 留下,内存超限是另一类失败。

代码语言:yaml
复制
apiVersion: apps/v1
kind: Deployment
metadata:
  name: checkout
  namespace: example
spec:
  replicas: 2
  selector:
    matchLabels:
      app: checkout
  template:
    metadata:
      labels:
        app: checkout
    spec:
      containers:
        - name: app
          image: example.com/checkout:1.8.0
          resources:
            requests:
              cpu: "500m"
              memory: "512Mi"
            limits:
              memory: "512Mi"

规范强制要 CPU Limit 时,按并发算,不要按平均使用率抄一个和 Request 相同的数。周期 100ms、单线程请求要 40ms CPU,Limit 至少要 400m 才够一个周期跑完,留余量就写成 1。再加大对单线程没有帮助,单线程一个周期最多跑满 1 个核。同一 Pod 上会叠多路请求时,配额是整组共享的,4 路同时各要 20ms,就需要 80ms 配额,也就是 800m。算不清并发,就回到不设 CPU Limit。

只写 Limit、不写 Request 时,若没有准入插件另填默认值,Kubernetes 会把 Limit 抄成 Request。Limit 写成 1、Request 没写,调度会按 1 核占位,Pod 可能 Pending。Request 按平时用量单独写。

改完看生效值,LimitRange 可能再填一次。滚动出来的新 Pod 上验收,旧 Pod 的 cgroup 不会跟着 Deployment 变。

代码语言:bash
复制
kubectl get pod -n example checkout-7d4f9c8b5-xk2mp \
  -o jsonpath='{.spec.containers[?(@.name=="app")].resources}{"\n"}'

改完对节流计数,而不是对使用率

在容器 cgroup 目录执行,忙时采样。参数可传 cpu.stat 的绝对路径。用 bash 跑。

代码语言:bash
复制
#!/bin/bash
set -eu
stat_file="${1:-cpu.stat}"
read_pair() {
  awk '
    $1 == "nr_periods" { p = $2 }
    $1 == "nr_throttled" { t = $2 }
    END { print p + 0, t + 0 }
  ' "$stat_file"
}
read -r p1 t1 < <(read_pair)
sleep 30
read -r p2 t2 < <(read_pair)
awk -v p1="$p1" -v t1="$t1" -v p2="$p2" -v t2="$t2" 'BEGIN {
  dp = p2 - p1
  dt = t2 - t1
  if (dp <= 0) { print "no new periods"; exit 1 }
  printf "periods=%d throttled=%d ratio=%.3f\n", dp, dt, dt / dp
}'

去掉 CPU Limit 后,v2 的 cpu.max 第一个值应是 max,v1 的 cpu.cfs_quota_us 应是 -1,忙时 nr_throttled 不再增加。Limit 只是抬高时,节流周期占比要降到和延迟尖刺对不上。没有官方阈值,空闲时的零星计数不要当结论。

另外看节点。这个服务把节点 CPU 打满、邻居变慢,说明硬顶拿掉之后挤占已经发生,应提高 Request 或把副本打散,而不是把 Limit 设回一个很小的数。按 CPU 使用率扩容的 HPA 也帮不上:它看的是使用率,低于目标就不会扩;扩了也只是多几个配额同样短的副本,单次请求该跨周期还是跨周期。

常见误区

Guaranteed 不会免节流。QoS 决定的是节点压力下谁先被驱逐。成为 Guaranteed 的条件之一,就是每个容器的 CPU Request 等于 CPU Limit,内存也必须对齐。这是周期配额最紧的配法。默认 cpu-manager-policy 是 none。static 只给 Guaranteed 且 CPU Request 为整数的容器独占 CPU,还要改 kubelet,不是给 Pod 加个注解。接口服务不要假设集群开了它。

加副本只分摊并发,不拉长单个副本的周期配额。线程池按节点核数开也一样:配额整组共享,8 个线程抢 20ms,不会比 1 个线程更快。Limit 小于 1 核的延迟敏感进程,线程数先按 1 试。

把周期改成 1ms 也不能多变出 CPU。周期越短,单次掐停的墙钟越短,突发空间也越小,而且非默认值要 feature gate。托管节点上这通常不是能随手改的开关。

上线前对一下

  • 延迟敏感的容器:CPU Request 按平时用量;CPU Limit 要么不设,要么盖住同一周期内的并发 CPU 时间。
  • 内存 Limit 还在。
  • 生效的 Pod spec 里,Request 没有被 Limit 或 LimitRange 抬到同一个大数。
  • 新 Pod 的忙时采样里,nr_throttled 不涨,或占比已经和延迟尖刺对不上。
  • 同节点其他服务的延迟没有一起变差。

参考

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 使用率是窗口平均,掐停发生在一个周期里
  • 在节点上读配额和节流计数
  • 改 Limit 的形状,而不是改周期
  • 改完对节流计数,而不是对使用率
  • 常见误区
  • 上线前对一下
  • 参考
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档