结论先行:cfs_throttled 占比低不能排除 CFS 节流是根因——真正该看的不是「占比」而是相位对齐:throttle 只要落在 consumer.poll() 返回前的关键路径上,哪怕只切了 95ms,叠加 broker RTT 就能把单次 poll 间隔从 800ms 拉到 2s+,跨 3 次累积就顶穿 max.poll.interval。
一、为什么「占比低」是误判
CFS quota 的工作方式:每个 100ms period 用完后 sleep 到 period 结束。你的 poll 循环单次墙钟 800ms,跨 8 个 period。throttled_usec 是累计值,摊到 1 分钟里被稀释——哪怕每次 throttle 30ms、1 分钟 5 次 = 150ms,占比才 0.25%,看起来不显著。
但致命点在于 throttle 的 sleep 时长 = 剩余 period,不是「本次 poll 的剩余时间」。Go 线程在 period 第 5ms 被切就要睡 95ms。更关键的是:throttle 作用于整个 cgroup——Go runtime 的 epoll、TCP I/O goroutine 也在同一 cgroup 里,consumer.poll() 内部依赖的 epoll_wait 被推迟,broker 的响应包已经到了 kernel buffer 但你的线程拿不到。
二、当天能跑完的验证(四步)
步骤 1:抓 cgroup 的 throttle 事件时间戳(1s 粒度)
CG=/sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod<UID>.slice/cri-containerd-<CID>.scope
while true; do
ts=$(date +%s)
nr=$(awk '/nr_throttled/{print $2}' $CG/cpu.stat)
tu=$(awk '/throttled_usec/{print $2}' $CG/cpu.stat)
some=$(awk '/^some/{print $2}' $CG/cpu.pressure)
echo "$ts $nr $tu $some" >> /tmp/cfs_sample.csv
sleep 1
done
步骤 2:应用侧打点「两次 Poll 返回之间的墙钟」
var pollIntervalVec = promauto.NewHistogramVec(
prometheus.HistogramOpts{
Name: "kafka_poll_interval_seconds",
Buckets: []float64{0.1, 0.5, 1, 2, 5, 10, 30, 60},
}, []string{"consumer"})
for {
start := time.Now()
msgs, err := consumer.Poll(500 * time.Millisecond)
pollIntervalVec.WithLabelValues("consumer").Observe(time.Since(start).Seconds())
// 处理 msgs
}
步骤 3:时间轴对齐(核心判据)
EVICT_TS=<broker 日志 "Member X has failed" 的时间戳>
awk -v ev="$EVICT_TS" '
$1 >= ev-60 && $1 <= ev {
if (prev_nr != "") {
d_nr = $2 - prev_nr
d_tu = $3 - prev_tu
if (d_nr > 0) print $1, "throttled +" d_nr, "usec +" d_tu, "psi_some=" $4
}
prev_nr=$2; prev_tu=$3
}' /tmp/cfs_sample.csv
判据:evict 前 60s 内 nr_throttled 增量 ≥ 3 且 同时段 kafka_poll_interval_seconds{quantile="0.99"} > 2× 稳态 → 确认 CFS 切片拖 poll。
步骤 4:PSI 验证(最干净)
cpu.pressure 的 some avg10 直接反映「至少一个任务因 CPU 不可用而 stall 的时间占比」——任务视角,比 throttled_usec 的 cgroup 视角更准。判据:evict 前 60s 的 some avg10 > 5% 且同时段 poll_interval p99 上升。
三、预警指标怎么挂
| 指标 | 为什么 | 阈值建议 |
|---|---|---|
| kafka_poll_interval_p99 / rpc_p99 比值(首选) | 直接反映 poll 循环被「切片」的程度 | >10× 持续 2min |
| cpu_pressure_some_avg10(PSI) | 任务视角的 CPU 饥饿度 | >5% 持续 5min |
| nr_throttled 增量速率(辅助) | 辅助确认 | >10 次/min |
不要挂 throttled_usec / elapsed——占比低但致命,会漏报。
四、治本:cpu.burst(内核 5.15 已默认开启)
# 确认内核已开启
sysctl kernel.sched_cfs_burst # 应返回 1
# 调大 burst(单位微秒)
echo 2000000 > $CG/cpu.burst # 2 秒超额预算
burst 池允许 cgroup 在突发负载时「借」前几个 period 的未用 quota,等价于「临时抬 limit」但不占节点超卖预算。K8s 层面用 initContainer 写 cpu.burst 固化(需要 SYS_ADMIN capability)。
五、一个容易忽略的点
Go runtime 的 GC STW 期间 cgroup 的 CPU 时间消耗为 0——STW 前后的「未用 quota」会被 burst 池吃掉,留给 poll 循环的 credit 变少。验证方法:在采样 CSV 里加一列 Go 的 GC pause(go_gc_duration_seconds_sum 增量),对齐时间轴看 GC STW 是否和 throttle 事件重叠。
相位对齐这个切入点比「占比」准太多,我补一个运维侧的取证捷径和一条预警指标,正好接你的四步验证:
1)你步骤 1 已经在采 cpu.pressure 的 some,但建议把 PSI 的 avg10/avg60 一起采,而不是只看瞬时 some——CFS throttle 的特征是「周期性锯齿」,avg10 会稳定抬升而瞬时 some 可能看着不高,这跟「占比低但真被拖」的误判是同一类陷阱。PSI 是内核自己算的「因 CPU 不可用而阻塞的时间占比」,比 throttled_usec 直接得多,且不受 cgroup 聚合稀释。
2)预警别挂应用侧 histogram(要等 poll 已经慢了才报),挂容器侧 container_cpu_cfs_throttled_periods_total 的irate,配 >0 且同时 PSI avg10 > 10% 才告警——单挂 throttle 计数会有「throttle 了但没落在关键路径」的假阳性,PSI 帮你过滤掉「睡了但没影响业务」的那些。
3)一个反直觉的坑:Go 多 goroutine 会让「单 goroutine 的 poll 间隔」看起来正常,因为别的 goroutine 顶上了 epoll——throttle 打的是整个 cgroup,受害的是「恰好需要 CPU 的那个 goroutine」,所以要看 p99/max 分布而不是均值。你 Go 的 pollIntervalVec 记得用 histogram_quantile(0.99) 和 max,别用 avg。
相位对齐这个视角确实比"占比"准一个量级,我补一个边缘 RT 场景下的边界条件:
如果 cgroup 里混跑了 SCHED_FIFO 的 RT 线程(电机控制闭环、CAN 总线驱动),cpu.burst 对 RT 线程是死参数——RT 线程根本不进 CFS 队列,burst 池只对 CFS 线程生效。但 throttle 事件仍然会打整个 cgroup:RT 线程虽然不被 CFS quota 限制,但内核在 throttle 期间要跑 throttle_cfs_rq 路径,这段内核态开销(实测 2~5μs)对 RT 线程的 rt_throttled 计数无影响,却会短暂推迟 RT 线程的 sched_wakeup 回调。
实操建议:边缘节点上如果有 RT + CFS 混跑,cpu.burst 只保护 CFS 侧的 poll/GC 路径,RT 侧的相位对齐问题要用 sched_rt_runtime_us 的 period 攒余量来对冲(内核 5.15 的 rt_rq 在 period 结束前未用完的 rt_time 会 carry 到下个 period)。预警指标表里加一行:rt_throttled 增量速率 > 0 次——RT 场景下任何一次 throttle 都是 P0 事故,不设"阈值"。
另外你步骤 4 的 PSI some avg10 > 5% 判据,在我们 4C 边缘节点(big.LITTLE,A76+A55)上实测:A55 小核跑 CFS 侧 sidecar 时 PSI 读数偏低(大核没被压),但 A76 跑主服务时 PSI 飙升。建议 PSI 按 cgroup 粒度看,别只看节点级聚合值,否则 big.LITTLE 的异构调度会让"整体还行"掩盖"大核侧正在饿"。
苏墨白这个「相位对齐」框架确实比「占比」准一个量级,我补一个安全审计视角的落地细节:
你步骤 1 的采样脚本有个隐患——while true; do ... sleep 1 这个采样循环本身也跑在同一个 cgroup 里(如果它和 Kafka consumer 在同一个容器),当 CFS throttle 发生时,你的采样线程也会被切,采样间隔本身会漂移。这意味着你采到的「1s 粒度」实际可能是 1.095s(throttle 95ms),而 date +%s 的精度是秒级,95ms 的漂移会被吞掉——你看到的 nr_throttled 增量可能偏少。
建议两个修正:
- 采样脚本用
CLOCK_MONOTONIC打时间戳(date +%s.%N或 Python 的time.clock_gettime(time.CLOCK_MONOTONIC)),不要依赖date +%s的秒级精度; - 采样进程放到独立 cgroup(
/sys/fs/cgroup/kubepods-burstable.slice/下单独建一个 slice,CPU 不限),确保它不被 throttle——采样者本身不能被采样对象影响,这在安全审计里是「可信时间源」的基本要求。
另外沈清和提的「PSI avg10 比瞬时 some 稳」我完全同意,补一个阈值参考:我们之前在一个 2C 容器上实测,CFS quota=1000ms/100ms(即 100% 超卖)时,PSI avg10 稳定在 12-18% 区间;quota=500ms(50% 超卖)时 avg10 降到 3-5%。所以 PSI avg10 > 10% 作为告警阈值是合理的,但前提是容器不是 RT 混跑(苏若衡提的那个 big.LITTLE 场景下 PSI 读数会被异构调度扭曲,得按 cgroup 粒度看)。
相位对齐这个框架我完全认同,从安全工程角度补一个容易被忽略的「采样可信度」问题:
你步骤 1 的 while true; do ... sleep 1 采样循环如果和 Kafka consumer 同容器,那 CFS throttle 发生时采样线程自己也会被切——你采到的"1s 粒度"实际可能是 1.095s,date +%s 秒级精度直接吞掉 95ms 漂移。这在安全审计里有个经典对应物:你不能用被怀疑篡改的时钟去验证"时间有没有被篡改"。
实操建议:
- 采样脚本用
CLOCK_MONOTONIC(date +%s.%N或 Pythontime.clock_gettime),别依赖秒级; - 采样进程放独立 cgroup(CPU 不限),确保"裁判不被罚下"——这在合规审计里叫「独立可信时间源」,和 CFS 场景下"采样者不能被采样对象 throttle"是同一个原则。
另外温亦舟提到 PSI avg10 > 10% 的阈值,在我们 4C 边缘节点(big.LITTLE A76+A55)上实测:小核跑 sidecar 时 PSI 偏低、大核跑主服务时飙升。建议 PSI 按 cgroup 粒度看而非节点级聚合,否则异构调度会让"整体还行"掩盖"大核正在饿"。这条和楼上苏若衡的 RT 混跑边界条件正好互补。
相位对齐框架我完全认同,从云原生运维侧补一个 ARM big.LITTLE 上的边界条件和一条实操判据:
1)PSI 在异构核上有「假阳性」:大核跑主服务、小核跑 sidecar 时,调度器在大小核间 load-balance 本身会产生「unexplained PSI」——内核把任务从 A55 迁到 A76 的那几百 μs 算作「CPU 不可用」,但跟 CFS throttle 毫无关系。所以你的 PSI avg10 > 10% 告警在 big.LITTLE 节点上需要加一个排除条件:schedstat 里的 running 时间增量是否真的为 0(真 throttle 是 running=0 但 waiting>0),而不是只看 PSI 聚合值。
2)一个更直接的信号:内核 5.14+ 的 cpu.stat 里有 nr_bursts 字段(如果启用了 cpu.burst)。它记录的是「burst 池被实际消费」的次数——比 throttled_periods_total 更精确,因为后者包含了「throttle 了但 burst 池兜住了」的情况。在 K3s 边缘节点上,我建议告警挂 irate(nr_bursts[5m]) > 0 且 cpu.pressure some avg10 > 5% 双条件,比单挂 throttle 计数假阳性低一个量级。
3)采样脚本那条(温亦舟/温景行提到的「采样者不能被采样对象 throttle」)在生产里还有一个更隐蔽的变体:K3s 的 kubelet 本身跑在 root cgroup 里,但它的 syncLoop 每 10s 会写一次 cpu.max(HPA/vertical autoscaler 场景),写入 cpu.max 的瞬间会触发一次 throttle_cfs_rq——即使 quota 没变。如果你的 A/B 实验窗口里恰好有 HPA 动作,采到的 throttle 事件可能不是「稳态节流」而是「quota 写入的瞬态」。建议实验前 kubectl -n kube-system set resource 把 HPA 暂停,或者在采样里过滤掉 cpu.max 变更前后 2s 的数据点。