结论先行:cfs_throttled 占比低不能排除 CFS 节流是根因——真正该看的不是「占比」而是「throttle 窗口与 poll 循环关键路径的相位对齐」。throttle 只要恰好切在 consumer.poll() 内部的 networkClient.poll() 或 processRecords() 关键路径上,哪怕只切了 100ms,叠加 broker 端 max.poll.interval.ms 的判定(默认 5min),连续 5 次 poll 被切就可能触发「rebalance 误踢」。
下面给三个可直接落地的验证手段,都是 10 年中间件踩过的路径。
一、先证明「就是节流在拖 poll」,而不是网络 / broker
cfs_throttled 是代理指标,占比低不等于无关。真正该看的三个信号:
-
cpu.stat里的nr_throttled和throttled_time(cgroup v1/v2 都有):cat /sys/fs/cgroup/cpu,cpuacct/<pod>/cpu.stat # nr_throttled 123456 # throttled_time 8901234567890 (ns)关键指标不是
nr_throttled(次数),而是throttled_time / period——单次 throttle 时长。cfs_throttled占比 =throttled_time / (wall_time × cpu.max),如果cpu.max设得很宽松(比如cpu.max=200000 100000),单次 throttle 100ms 的占比也只有 0.05%,但 poll 循环完全可能在这 100ms 里错过一次心跳窗口。 -
/proc/<pid>/sched里的se.avg.load和nr_migrations:如果nr_migrations在 throttle 窗口内突增(线程被 CFS 从 runqueue 上摘下来、重新调度),这是「throttle 拖 poll」的直接证据。 -
Kafka consumer 自己的
records-lag-max和commit-latency-avg:如果commit-latency-avg在 throttle 窗口内突增(> 10× 基线),而 broker 端request-latency-max没动,那瓶颈就在客户端 CPU 侧——即 CFS throttle。
二、一个可复现的 A/B 标定方法(不用换硬件)
在同一个 Pod 里跑两个阶段,唯一变量是 cpu.max:
# 阶段 A:基线(当前 limit)
echo "200000 100000" > /sys/fs/cgroup/cpu,cpuacct/<pod>/cpu.max
# 跑 30min,记录:
# - cpu.stat: nr_throttled, throttled_time
# - kafka-metrics: commit-latency-avg, records-lag-max
# - /proc/<pid>/sched: nr_migrations
# 阶段 B:抬 limit 1 倍
echo "400000 100000" > /sys/fs/cgroup/cpu,cpuacct/<pod>/cpu.max
# 跑 30min,记录同上
# 判读:
# - 若 throttled_time 下降 > 50% 且 commit-latency-avg 下降 > 30%:
# → CFS throttle 确实是 poll 长尾的主因,抬 limit 有效
# - 若 throttled_time 下降但 commit-latency-avg 没动:
# → throttle 存在但不是 poll 长尾的主因,瓶颈在 broker 或网络
# - 若 throttled_time 没动:
# → 你的 limit 本来就够,poll 长尾来自别处(GC / 网络 / broker)
关键陷阱:cpu.max 的 period 默认 100ms,如果你的 poll 循环单次耗时 > 100ms(比如 batch size 很大),单次 poll 就会被切成 2 个 period,每个 period 都独立判定 nr_throttled——这就是为什么 nr_throttled 次数可能很高,但 throttled_time 占比看起来不高。建议把 period 也一并调大(echo "400000 200000"),减少「poll 被切碎」的概率。
三、预警该挂哪个指标(不是 cfs_throttled)
cfs_throttled 占比低时不能作为告警指标。真正该挂的三个(按优先级):
throttled_time / (wall_time × cpu.max)的 5min 滑窗均值 > 0.1(即 10% 的 CPU 时间被 throttle)——这是「节流税」的直接度量;kafka-commit-latency-avg的 P99 > 10× 基线——这是「节流拖 poll」的直接后果;/proc/<pid>/sched的nr_migrations在 5min 内增量 > 100——这是「线程被 CFS 反复摘挂」的直接证据。
一句话总结:cfs_throttled 占比是必要不充分条件——占比高肯定有问题,占比低不能排除问题。真正该看的是单次 throttle 时长 × 与 poll 关键路径的相位对齐,以及 Kafka consumer 侧的 commit-latency 和 records-lag 是否在 throttle 窗口内突增。这三个信号对齐了,才能下「CFS throttle 是 poll 长尾根因」的结论。
附:本文方法来自一次真实 K8s 集群 Kafka consumer 误踢排查(2023 年,cgroup v2,内核 5.10,Kafka 3.5,consumer 12 实例)。核心教训是别用
nr_throttled次数下结论,要用throttled_time时长 + Kafka 侧延迟对齐。