结论先行:throttled_usec 占比低但照样顶穿 max.poll.interval,根因不是「节流占比高」,而是 CFS 按 100ms period 硬切时,throttle 睡眠的时长是「剩余 period」而非「本次请求剩余」,且 throttle 作用于整个 cgroup——epoll_wait 被中断、I/O goroutine 被暂停,poll 返回时间被放大到跨多个 period。判据应该是 PSI some avg10 + 应用侧 poll 间隔墙钟 p99 的比值,而不是 throttled_usec / elapsed。治本首选 cpu.cfs_burst_us(内核 5.15 已默认开启),不动 limit、不动代码。
一、为什么「占比低但致命」——相位对齐才是关键
CFS quota 的工作方式:每个 100ms period 最多用 quota(limit=2 即 200ms/period),用完就 sleep 到 period 结束。
你的 poll 循环单次墙钟 800ms,跨 8 个 period。throttled_usec 是累计值,摊到 1 分钟里被稀释——哪怕每次 throttle 30ms,1 分钟 2~8 次就是 60~240ms,占比 0.1%~0.4%,看起来不显著。
但致命点在于:
- throttle 的 sleep 时长 = 剩余 period(不是「本次 poll 的剩余时间」)。如果你的 Go 线程在 period 第 95ms 被切,它要睡 5ms;如果在第 5ms 被切,它要睡 95ms。
- throttle 作用于整个 cgroup 的所有线程。你的消费逻辑是
poll() → RPC → 落库,但 Go runtime 的网络 I/O goroutine(epoll、TCP read/write)也在同一个 cgroup 里。cgroup 被 throttle 时,这些 I/O goroutine 也被暂停——consumer.poll()内部依赖的epoll_wait返回被推迟,broker 的响应包已经到了 kernel buffer 但你的线程拿不到。 - 叠加效应:一次 95ms 的 throttle 落在 poll 返回前的最后一段 + broker RTT 抖动 50ms + Go runtime 调度延迟 → 单次 poll 间隔从 800ms 拉到 1.5~2s。跨 3 次 poll 累积就顶穿 60s 的
max.poll.interval。
这就是为什么 throttled_usec 占比低但照样 evict:max.poll.interval 卡的是「单次 poll 返回的墙钟」,throttle 只要落在 poll 返回前的关键路径上,哪怕占比 0.1% 也致命。
二、定量证明:当天能跑完的四步
步骤 1:抓 cgroup 的 throttle 事件时间戳(1s 粒度)
# containerd 路径(K8s 1.28)
CG=/sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod<UID>.slice/cri-containerd-<CID>.scope
while true; do
ts=$(date +%s)
nr=$(awk '/nr_throttled/{print $2}' $CG/cpu.stat)
tu=$(awk '/throttled_usec/{print $2}' $CG/cpu.stat)
some=$(awk '/^some/{print $2}' $CG/cpu.pressure)
echo "$ts $nr $tu $some" >> /tmp/cfs_sample.csv
sleep 1
done
步骤 2:应用侧打点「两次 Poll 返回之间的墙钟」
// 在 poll 循环里加 histogram(Prometheus)
var pollIntervalVec = promauto.NewHistogramVec(
prometheus.HistogramOpts{
Name: "kafka_poll_interval_seconds",
Buckets: []float64{0.1, 0.5, 1, 2, 5, 10, 30, 60},
}, []string{"consumer"})
for {
start := time.Now()
msgs, err := consumer.Poll(500 * time.Millisecond)
elapsed := time.Since(start)
pollIntervalVec.WithLabelValues("consumer").Observe(elapsed.Seconds())
if err != nil { /* ... */ }
// 处理 msgs
}
步骤 3:时间轴对齐(核心判据)
# 找 evict 事件时刻(broker 日志 "Member X has failed" 的时间戳)
EVICT_TS=1761234567
# 看 evict 前 60s 的 throttle 增量 + PSI some
awk -v ev="$EVICT_TS" '
$1 >= ev-60 && $1 <= ev {
if (NR > 1 && prev_nr != "") {
d_nr = $2 - prev_nr
d_tu = $3 - prev_tu
if (d_nr > 0) print $1, "throttled +" d_nr, "usec +" d_tu, "psi_some=" $4
}
prev_nr=$2; prev_tu=$3
}' /tmp/cfs_sample.csv
判据:evict 前 60s 内 nr_throttled 增量 ≥ 3 且 同时段 kafka_poll_interval_seconds{quantile="0.99"} > 2× 稳态 → 确认 CFS 切片拖 poll。
步骤 4:PSI 验证(最干净)
# cpu.pressure 的 some avg10 = 「至少一个任务因 CPU 不可用而 stall 的时间占比(10s 平均)」
# 比 throttled_usec 更贴近「poll 循环等 CPU」的真实感受
# 判据:evict 前 60s 的 some avg10 > 5% 且同时段 poll_interval p99 上升 → CFS 节流
PSI 的优势:直接反映「任务等 CPU」的时间占比(任务视角),而不是「cgroup 被 throttle 的累计时间」(cgroup 视角)。对你的单线程 poll 循环场景更准。
三、预警指标:不要挂 throttled_usec/elapsed
| 指标 | 为什么 | 阈值建议 |
|---|---|---|
| kafka_poll_interval_p99 / rpc_p99 比值(首选) | 直接反映 poll 循环被「切片」的程度;稳态 ~4×,异常 >10× 即告警 | >10× 持续 2min |
| cpu_pressure_some_avg10(PSI) | 任务视角的 CPU 饥饿度,比 throttled_usec 更贴近实际影响 | >5% 持续 5min |
| nr_throttled 增量速率(辅助) | 辅助确认,但不作为主判据(占比低但致命) | >10 次/min |
不要挂 throttled_usec / elapsed——占比低但致命,会漏报。你的案例就是活证据。
告警逻辑(PromQL):
# 首选:poll 间隔 / RPC 间隔 比值异常
(kafka_poll_interval_seconds{quantile="0.99"} / rpc_p99_seconds) > 10
# 辅助:PSI some
cpu_pressure_some_avg10{pod=~"kafka-consumer.*"} > 0.05
四、治本路径:cpu.cfs_burst_us 是最划算的
你的内核是 5.15,CFS bandwidth burst 已默认开启(5.14 引入,cfs_burst sysctl 默认 true,初始 burst 1ms/period)。这意味着你的 cgroup 已经在攒「burst credit」:空闲 period 的未用 quota 会累积到 burst 池,下个 period 可以超额使用。
但默认 burst 只有 1ms/period,对你的场景(poll 循环单次 800ms、跨 8 个 period)远远不够。
落地方式(不需要改 K8s PodSpec,不需要改代码):
# 1. 确认内核已开启 CFS burst
sysctl kernel.sched_cfs_burst # 应该返回 1
# 2. 手动调大 burst(单位微秒,初始值)
# 找到你的 cgroup
CG=/sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod<UID>.slice/cri-containerd-<CID>.scope
# 设置 burst 为 2000ms(即 2 秒的超额预算)
echo 2000000 > $CG/cpu.burst
# 验证
cat $CG/cpu.burst # 2000000
原理:burst 池允许 cgroup 在突发负载时「借」前几个 period 的未用 quota。你的 poll 循环在空闲 period 攒 credit,在 poll 返回前的关键 period 用 credit 避免被切——等价于「临时抬 limit」但不占节点超卖预算。
K8s 层面的固化(避免 Pod 重建后丢失):
- 方式 A:写一个 DaemonSet/InitContainer,在 Pod 启动后写
cpu.burst(需要privileged或SYS_ADMINcapability) - 方式 B:如果你们的 K8s 版本支持
ExtendedResource,可以写一个 DevicePlugin 暴露cpu.burst资源 - 方式 C(最省事):节点级
sysctl kernel.sched_cfs_burst=1+ 所有 cgroup 的cpu.burst统一由 kubelet 的--cgroup-root配置(1.28 暂不支持,需要 patch kubelet 或用 initContainer)
三条路对比:
| 方案 | 改动面 | 回滚难度 | 成本 | 效果 | |---|---|---|---|---| | 抬 limit 2→3 | PodSpec 一行 | 改回即回滚 | 超卖比 +50%,驱逐风险↑ | 有效但贵 | | cpu.cfs_burst_us | cgroup 文件写入(initContainer) | 删 initContainer 即回滚 | 零超卖,零代码 | 有效且免费 | | 拆 poll 循环 | 改 Go 代码 + 测试 | 发版回滚 | 开发成本高,改业务逻辑 | 有效但重 |
推荐:先上 cpu.cfs_burst_us(当天能验证),同时把预警指标挂上(poll_interval/rpc 比值 + PSI some),观察一周。如果 burst 仍然不够(极端 burst 场景),再考虑抬 limit 或拆 poll 循环。
五、一个容易被忽略的点
你的 cpu.request=1 / cpu.limit=2,稳态利用率 50%~70%(按 limit 折算)= 实际用 1~1.4 核。CFS 的 quota 是 200ms/100ms period,但 Go runtime 的 GC、网络 I/O、runtime 调度本身也在消耗这个 quota。你的 gc 占比 <5% 是按 CPU 时间算的,但 GC 的 STW 期间 cgroup 的 CPU 时间消耗为 0——这意味着 STW 前后的「未用 quota」会被 burst 池吃掉,留给 poll 循环的 credit 变少。
验证方法:
# 在 /tmp/cfs_sample.csv 里加一列 Go 的 GC pause(从 /metrics 的 go_gc_duration_seconds_sum 增量)
# 对齐时间轴:如果 GC STW 和 throttle 增量在 1s 内重合,说明 GC 在「偷」你的 burst credit
如果确认了这个叠加效应,解法是把 GC 的 STW 时间压到 <10ms(GOGC=200 或 GOMEMLIMIT 调大堆减少 GC 频率),减少 burst credit 被 GC 消耗的比例。