接口延迟隔一会儿抖一下,节点上还有空闲 CPU,kubectl top 里这个容器的用量也低于它的 CPU Limit。这类抖动常常不是下游变慢,而是 CFS 把 CPU Limit 收成了周期配额:本周期的配额用完,线程会被掐到下一个周期,整机空着也没用。TKE 上的 kubelet 若沿用上游默认,会对写了 CPU Limit 的容器启用这套配额。节点有没有改过,以容器 cgroup 里的文件为准。下面的读法只适用于 Linux 节点。
CPU Limit 由内核按节流执行,超了不会把容器杀掉。kubelet 的 cpuCFSQuota 默认 true,只约束写了 CPU Limit 的容器;cpuCFSQuotaPeriod 默认 100ms,写进 cgroup 就是 cpu.cfs_period_us。这个值允许落在 1ms 到 1s,但非默认值要打开 CustomCPUCFSQuotaPeriod。先改 Limit,不要先改周期。
每个周期分到的 CPU 时间是 Limit 乘以周期。周期维持默认 100ms、Limit 为 200m 时,配额是 0.2 乘 100000 微秒,等于 20000 微秒,也就是 20ms。单线程请求若需要 40ms CPU,本周期只能跑 20ms,剩下的要等配额刷新,墙钟至少跨过一次周期边界。这一秒里若只有这一次请求,平均用量约 40m,只有 Limit 的两成。kubectl top 和监控曲线都是窗口平均,对不齐这几十毫秒。
配额会按 slice 发到各个 CPU,没吃完的 slice 不立刻作废。多线程进程偶尔能多跑出去一点,幅度大约是每个 CPU 1ms(编译期的 min_cfs_rq_runtime)。不要拿单次耗时和 20ms 做毫秒级对账,看节流计数。
没有 CPU Limit 时,v1 的 cpu.cfs_quota_us 是 -1,v2 的 cpu.max 默认形态是 max 100000:第一个数是每周期配额,max 表示不限制,第二个数是周期微秒。
容器 ID 用完整十六进制,去掉 containerd:// 前缀,也不要截成 12 位。
kubectl get pod -n example checkout-7d4f9c8b5-xk2mp \
-o jsonpath='{.status.containerStatuses[?(@.name=="app")].containerID}{"\n"}'到这个 Pod 所在节点上,用能读 /sys/fs/cgroup 的账号、用 bash 执行。权限不够时 find 会空,不要当成没有 cgroup。不要把脚本贴进 fish。
#!/bin/bash
set -eu
CID="${1:?container id}"
mapfile -t dirs < <(find /sys/fs/cgroup -type d -name "*${CID}*" 2>/dev/null)
if [ "${#dirs[@]}" -eq 0 ]; then
echo "no cgroup dir for ${CID}" >&2
exit 1
fi
for d in "${dirs[@]}"; do
if [ -f "$d/cpu.max" ]; then
echo "cgroup=$d driver=v2"
echo -n "cpu.max="; cat "$d/cpu.max"
grep -E '^(nr_periods|nr_throttled|throttled_usec) ' "$d/cpu.stat" || true
exit 0
fi
if [ -f "$d/cpu.cfs_quota_us" ]; then
echo "cgroup=$d driver=v1"
echo -n "quota_us="; cat "$d/cpu.cfs_quota_us"
echo -n "period_us="; cat "$d/cpu.cfs_period_us"
grep -E '^(nr_periods|nr_throttled|throttled_time) ' "$d/cpu.stat" || true
exit 0
fi
done
echo "found dirs but no cpu quota file" >&2
exit 1v2 读到 20000 100000 就是 20ms / 100ms。v1 的 throttled_time 单位是纳秒,v2 的 throttled_usec 是微秒。v2 的 cpu.stat 只计本 cgroup 自己的限制,不含祖先;内核够新时,祖先造成的掐停在同目录 cpu.stat.local 的 throttled_usec,没有这个文件就只看本层。容器自己的 cpu.max 已是 max,本地节流时间仍在涨,就去父目录看有没有 Pod 级 spec.resources.limits.cpu(上游 1.34 起可写,默认开启的 Beta,集群关掉 feature gate 则没有)。v1 上父组配额耗尽时,子组自己还有配额也会被掐。
调度保证的是 Request,节流看的是 Limit。节点忙起来,Request 更大的容器分到的 CPU 时间更多,那是权重,不是延迟保证。
做法 | 单次请求会不会被周期配额掐住 | 主要风险 |
|---|---|---|
去掉 CPU Limit,保留 Request | 不会,能用节点上空闲的 CPU | 节点打满时没有硬顶,只剩权重 |
Request 不动,Limit 高于并发所需 | 配额盖住同一周期内的并发 CPU 时间时不会 | 副本一起突发,节点仍可能打满 |
Request 等于 Limit | 会,超出部分一定跨周期 | 接口延迟按周期抖动 |
在线接口优先第一种。内存 Limit 留下,内存超限是另一类失败。
apiVersion: apps/v1
kind: Deployment
metadata:
name: checkout
namespace: example
spec:
replicas: 2
selector:
matchLabels:
app: checkout
template:
metadata:
labels:
app: checkout
spec:
containers:
- name: app
image: example.com/checkout:1.8.0
resources:
requests:
cpu: "500m"
memory: "512Mi"
limits:
memory: "512Mi"规范强制要 CPU Limit 时,按并发算,不要按平均使用率抄一个和 Request 相同的数。周期 100ms、单线程请求要 40ms CPU,Limit 至少要 400m 才够一个周期跑完,留余量就写成 1。再加大对单线程没有帮助,单线程一个周期最多跑满 1 个核。同一 Pod 上会叠多路请求时,配额是整组共享的,4 路同时各要 20ms,就需要 80ms 配额,也就是 800m。算不清并发,就回到不设 CPU Limit。
只写 Limit、不写 Request 时,若没有准入插件另填默认值,Kubernetes 会把 Limit 抄成 Request。Limit 写成 1、Request 没写,调度会按 1 核占位,Pod 可能 Pending。Request 按平时用量单独写。
改完看生效值,LimitRange 可能再填一次。滚动出来的新 Pod 上验收,旧 Pod 的 cgroup 不会跟着 Deployment 变。
kubectl get pod -n example checkout-7d4f9c8b5-xk2mp \
-o jsonpath='{.spec.containers[?(@.name=="app")].resources}{"\n"}'在容器 cgroup 目录执行,忙时采样。参数可传 cpu.stat 的绝对路径。用 bash 跑。
#!/bin/bash
set -eu
stat_file="${1:-cpu.stat}"
read_pair() {
awk '
$1 == "nr_periods" { p = $2 }
$1 == "nr_throttled" { t = $2 }
END { print p + 0, t + 0 }
' "$stat_file"
}
read -r p1 t1 < <(read_pair)
sleep 30
read -r p2 t2 < <(read_pair)
awk -v p1="$p1" -v t1="$t1" -v p2="$p2" -v t2="$t2" 'BEGIN {
dp = p2 - p1
dt = t2 - t1
if (dp <= 0) { print "no new periods"; exit 1 }
printf "periods=%d throttled=%d ratio=%.3f\n", dp, dt, dt / dp
}'去掉 CPU Limit 后,v2 的 cpu.max 第一个值应是 max,v1 的 cpu.cfs_quota_us 应是 -1,忙时 nr_throttled 不再增加。Limit 只是抬高时,节流周期占比要降到和延迟尖刺对不上。没有官方阈值,空闲时的零星计数不要当结论。
另外看节点。这个服务把节点 CPU 打满、邻居变慢,说明硬顶拿掉之后挤占已经发生,应提高 Request 或把副本打散,而不是把 Limit 设回一个很小的数。按 CPU 使用率扩容的 HPA 也帮不上:它看的是使用率,低于目标就不会扩;扩了也只是多几个配额同样短的副本,单次请求该跨周期还是跨周期。
Guaranteed 不会免节流。QoS 决定的是节点压力下谁先被驱逐。成为 Guaranteed 的条件之一,就是每个容器的 CPU Request 等于 CPU Limit,内存也必须对齐。这是周期配额最紧的配法。默认 cpu-manager-policy 是 none。static 只给 Guaranteed 且 CPU Request 为整数的容器独占 CPU,还要改 kubelet,不是给 Pod 加个注解。接口服务不要假设集群开了它。
加副本只分摊并发,不拉长单个副本的周期配额。线程池按节点核数开也一样:配额整组共享,8 个线程抢 20ms,不会比 1 个线程更快。Limit 小于 1 核的延迟敏感进程,线程数先按 1 试。
把周期改成 1ms 也不能多变出 CPU。周期越短,单次掐停的墙钟越短,突发空间也越小,而且非默认值要 feature gate。托管节点上这通常不是能随手改的开关。
nr_throttled 不涨,或占比已经和延迟尖刺对不上。原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。