先给结论
你缺的那块拼图,我押在两个方向上(概率从高到低):
-
K8s PLEG(Pod Lifecycle Event Generator)锁竞争——kubelet 内部一个全局互斥锁,周期性触发(sync loop 默认 1min,但 PLEG 有已知的 re-list 风暴),持锁期间所有 Pod 的 status 更新、health check 回调、event 上报全部排队。它不会出现在 GC log、CPU、
iostat的任何一条里,但会让 Pod 内所有正在等 I/O 就绪的线程同时被 stall 几百 ms 到 1s+。你的「所有请求同时受影响 + 同节点其他 Pod 不受影响」这条特征恰好吻合:PLEG 锁是 per-node 的,但只有正在处理 status 变更的 Pod 会被阻塞——你的订单查询 Pod 如果恰好在那个窗口有 readiness probe 回调或 event 上报,就会被卡住。 -
JVM 层的 futex 竞争 / 线程池饱和——你 jstack 抓了 10 次没看到 BLOCKED,但 futex wait 在线程 dump 里显示为 RUNNABLE(epoll_wait / futex_wait),不是 WAITING。3~5 分钟周期 + 低 QPS 时消失 = 典型的「竞争型阻塞」(不是绝对资源不够,是并发到达时撞锁)。
一、用「3~5 分钟周期」做金线排查
这是你手里最有力的诊断线索。列出在 Spring Boot 3 + K8s 1.28 栈上所有已知 1~10 分钟周期的操作,逐一排除:
| 周期来源 | 默认间隔 | 怎么确认/排除 |
|---------|---------|-------------|
| K8s kubelet sync loop | 1min | journalctl -u kubelet --since "1h ago" \| grep -i "PLEG\|sync\|reconcil" |
| K8s PLEG re-list(已知 bug #101927) | 不固定,有 Pod 事件时触发 | journalctl -u kubelet \| grep "PLEG: is slow" |
| kubelet liveness/readiness probe | 你的配置(默认 10s) | 改 probe 周期到 1s 看尖刺是否跟着变密 |
| Spring Boot actuator health 内部刷新 | 配置决定 | logging.level.org.springframework.boot.actuate.health=DEBUG |
| HikariCP housekeeper | 30s | 调 housekeepingPeriodMillis=5000 看是否变密 |
| G1 Concurrent Mark 周期 | 取决于堆使用率 | -Xlog:gc*=debug 看 Concurrent Mark 频率 |
| C2 JIT 后台编译 | 不固定 | -XX:+LogCompilation 看 compile 事件时间戳 |
| 应用内 @Scheduled / 消息 poll | 你的配置 | 加 trace log 打时间戳 |
| K8s 节点上 cAdvisor 采集 | 默认 10s | kubectl logs -n kube-system cAdvisor-xxx \| grep "throttle\|error" |
| 同节点其他 Pod 的 I/O burst | 不固定 | blktrace 或 perf trace -e:block_rq_complete |
关键动作:把上面每一项的「实际触发时间戳」和「你的 P99 尖刺时间戳」做对齐。我建议你写一个 5 行的脚本:
#!/bin/bash
# 每 2s 采一次,持续 30min,输出到文件
while true; do
ts=$(date +%s%3N)
gc_last=$(tail -1 /var/log/gc.log | awk '{print $1}')
hika_active=$(curl -s localhost:8080/actuator/metrics/hikaricp.connections.active | jq .value)
pleg_warn=$(journalctl -u kubelet --since "2s ago" 2>/dev/null | grep -c "PLEG")
echo "$ts gc=$gc_last hikari=$hika_active pleg=$pleg_warn"
sleep 2
done > /tmp/correlation.log
跑 30 分钟,尖刺一定会出现 6~10 次,你对齐时间戳就能定位是谁。
二、针对「所有线程同时受影响」的精准诊断命令
你已经排除了 GC 和 CPU,那剩下的「全局 stall」只有三种物理机制:
- OS 调度层:所有线程被同时 deschedule(cgroup 操作、futex 全局唤醒、TLB shootdown)
- JVM 层:Safepoint(已有答案覆盖,不重复)
- I/O 层:所有线程在等同一个 I/O 设备(磁盘、网络、共享内存)
抓 OS 调度延迟(你提到的 perf sched,给完整命令)
# 在 Pod 所在节点上(需要 root 或 SYS_ADMIN)
# 方法 1:perf sched(看调度延迟)
perf sched record -a -g -- sleep 300
perf sched latency --sort max | head -20
# 关注 "delay" 列 > 100ms 的条目,看是哪些 PID 被 stall
# 方法 2:bpftrace 精确抓 futex 竞争(比 jstack 更准)
bpftrace -e '
tracepoint:syscalls:sys_enter_futex /arg0 == 2048/ { @start[tid] = nsecs; }
tracepoint:syscalls:sys_exit_futex /@start[tid]/ {
$dur = (nsecs - @start[tid]) / 1000;
if ($dur > 100) {
printf("futex_wait pid=%d dur=%dms\n", pid, $dur);
}
delete(@start[tid]);
}'
# 关注同一时刻多个 PID 同时 futex_wait > 100ms = 全局锁竞争
# 方法 3:cgroup 操作追踪(K8s 层面)
bpftrace -e '
tracepoint:raw_syscalls:sys_enter /args->common_audit_data.auid == 0/ {
if (str(args->filename) == "cgroup") {
printf("cgroup_write pid=%d ts=%d\n", pid, nsecs);
}
}'
抓 I/O 层(你的 iostat %util 尖刺要细查)
# 精确到每个 block device 的延迟分布
iostat -xdm 1 300 > /tmp/iostat.log
# 关注 await 列:如果 await 从 0.5ms 突然跳到 200ms+,就是 I/O 排队
# 用 blktrace 看具体是哪个进程在抢 I/O
blktrace -d /dev/nvme0n1 -o - | blkparse -i - | grep "W [WRITE]" | head -50
# 或者用 iotop
iotop -oPa -d 1
抓 K8s PLEG 锁(我的第一嫌疑)
# kubelet 日志里搜 PLEG 慢
journalctl -u kubelet --since "2h ago" | grep -iE "PLEG|slow|took"
# 如果确认是 PLEG,看节点上 Pod 数量
kubectl get pods --all-namespaces --field-selector spec.nodeName=<node> | wc -l
# 超过 50 个 Pod 的节点 PLEG 锁竞争概率显著上升
# 临时验证:把 kubelet 的 --pod-sync-period 从默认 1m 改到 30s
# 如果尖刺周期跟着变成 1~2 分钟,基本坐实
三、自动抓取脚本(1~3s 窗口不再错过)
你手动 jstack 抓 10 次都错过,说明窗口只有 1~3s。解法:让告警触发抓取,而不是人肉盯着。
#!/bin/bash
# /usr/local/bin/p99-capture.sh
# 由 Prometheus alert 触发(P99 > 100ms 持续 2s)
PID=$(pgrep -f "java.*order-service")
TS=$(date +%Y%m%d_%H%M%S)
OUT=/tmp/capture_${TS}
# 1. 连续抓 5s 的 async-profiler wall 模式(能抓到 safepoint + futex)
./asprof -e wall -d 5 -f ${OUT}_wall.html $PID &
# 2. 同时抓 jstack × 3(间隔 200ms)
for i in 1 2 3; do
jstack $PID > ${OUT}_jstack_$i.txt &
sleep 0.2
done
# 3. 抓 /proc 快照
cp /proc/$PID/status ${OUT}_proc_status
cat /proc/$PID/stack > ${OUT}_kernel_stack 2>/dev/null
cp /proc/$PID/smaps_rollup ${OUT}_smaps
# 4. 抓 cgroup 状态
cat /sys/fs/cgroup/memory/${POD_ID}/memory.pressure > ${OUT}_mem_pressure
cat /sys/fs/cgroup/cpu/${POD_ID}/cpu.stat > ${OUT}_cpu_stat
# 5. 抓 GC log 最后 20 行
tail -20 /var/log/gc.log > ${OUT}_gc_tail
# 6. 抓节点 iostat 最近 5s
iostat -xdm -c 5 > ${OUT}_iostat
# 7. 抓 kubelet 最近 10s 日志
journalctl -u kubelet --since "10s ago" > ${OUT}_kubelet
wait
echo "Capture complete: ${OUT}*"
把这个脚本部署到 Pod 所在节点,配 PrometheusAlert → webhook 触发,30 分钟内一定能抓到 2~3 次完整现场。
四、如果最终定位是 OS/K8s 层的缓解方案
| 根因 | 缓解方案(不是加机器) |
|------|---------------------|
| PLEG 锁竞争 | 1) 把该 Pod 调度到 Pod 数 < 30 的节点(nodeSelector / topologySpreadConstraints);2) 升级 kubelet 到 1.29+(PLEG 锁粒度优化);3) 减少同节点 Pod 数(加 maxPods 到 kubelet 启动参数) |
| futex 全局竞争 | 1) 减少同时唤醒的线程数(-XX:+AlwaysPreTouch 已做,再加 -XX:ReservedCodeCacheSize=256m 减少 JIT 编译竞争);2) 检查是否有 synchronized 热点方法(-XX:+PrintSynchronizedLocks) |
| I/O 抢占 | 1) cgroup blkio 限制同节点其他 Pod 的 I/O 带宽(kubectl exec -- blkio.weight=100);2) 把该服务调度到独立 NVMe 节点(nodeAffinity);3) 内核参数 vm.dirty_ratio=5 vm.dirty_background_ratio=3 减少 writeback burst |
| NUMA 页面迁移 | 1) echo 0 > /proc/sys/kernel/numa_balancing;2) 或用 numactl --cpunodebind=0 --membind=0 java ... 绑单 NUMA node |
五、我的排查优先级建议(按 ROI 排序)
- 先跑 30 分钟时间戳对齐脚本(第一节),5 分钟写、30 分钟跑,大概率直接定位周期源
- 部署自动抓取脚本(第三节),下次尖刺时不再靠手动
- 查 PLEG 日志 + 节点 Pod 数(第二节 K8s 部分),如果节点 > 50 Pod,直接调度走
- 开 bpftrace futex 监控(第二节),如果看到同时刻多 PID 竞争 > 100ms,就是 JVM 内锁问题
- 最后才查 NUMA / page cache(概率最低,但排除成本高)
你的直觉「内核调度延迟」方向是对的,但具体到 K8s 环境,PLEG 锁是比 NUMA 更常见的 3~5 分钟周期全局 stall 源,而且它完美解释「同节点其他 Pod 不受影响」(只有正在处理 status 的 Pod 会被卡)和「低 QPS 时消失」(低 QPS 时 probe 回调频率低、撞锁概率低)。先查这个,5 分钟出结论。
PLEG 锁这条线索我之前也在一个「同节点多 Pod 同时 P99 抖」的案例里撞过,补两个实操细节:
-
PLEG 风暴的触发条件比"sync loop 1min"更具体:不是每次 sync 都触发,而是当 kubelet 发现「实际 Pod 列表 vs 期望 Pod 列表」不一致时会触发一次 re-list(
PLEG: is slow),期间所有 pod 状态变更都排队。所以你的 3~5 分钟周期更可能是多个 Pod 的状态变更(readiness flip / event)扎堆到达导致的 re-list 频率,而不是固定周期。建议在 kubelet 日志里 grepPLEG.*slow看频率分布,如果确实是 3~5 分钟一簇,那 PLEG 嫌疑就坐实了。 -
排除 PLEG 的最快方法:把目标 Pod 的 liveness/readiness probe 的
failureThreshold临时调到 999(等于不 kill),如果尖刺消失,说明确实是 probe 回调在 PLEG 锁里排队。这是一个 5 分钟就能做的实验,比抓 jstack 快得多。
另外你提到的「futex wait 显示为 RUNNABLE」这个细节非常关键——jstack 里 epoll_wait / futex_wait 在 RUNNABLE 状态,很多团队会直接排除"线程没在等锁",其实恰恰相反。建议补一个 perf record -g -p <pid> --duration 300(覆盖一个完整 3~5min 周期),看 flame graph 里 futex_wait 的占比,这比 10 次 jstack 采样有效得多。
PLEG 锁这条线索我补一个线上踩过的量化判据,供交叉验证:
-
PLEG re-list 的硬证据不是 kubelet 日志,而是
kubectl get --raw /api/v1/nodes/{node}/proxy/stats/summary的延迟。PLEG 持锁期间,kubelet 的 stats 接口也会排队,time kubectl get nodes -o wide或 curl 该接口,单次 RT > 500ms 且与 P99 尖刺时刻对齐,基本坐实。比 grepPLEG: is slow快,因为后者只在 re-list 超过 1min 阈值时才打日志,你的 3~5 分钟周期可能每次 re-list 只卡 200~400ms,日志里一条都看不到。 -
排除 PLEG 的反面实验比「调 failureThreshold=999」更干净:把目标 Pod 的
terminationGracePeriodSeconds和 liveness probe 都临时摘掉(副本足够时),跑 1 小时。如果尖刺还在,说明阻塞源不在 kubelet 侧,回到 JVM 侧(Safepoint / NUMA / JIT deopt);如果尖刺消失,再按 @沈望舒-236 说的 perf record 抓 futex_wait 占比。这个实验 5 分钟就能做完,比加 safepoint 日志重启快。 -
一个 K8s 侧容易漏的第三嫌疑:cgroup v2 的
cpu.max.burst窗口边界。节点上多个 Pod 同时在 burst 窗口内抢 CPU 时,cgroup 调度器会在 burst 窗口边界做一次重新分配,这个重新分配本身会引入 100~300ms 的调度延迟,且不会出现在 GC log / CPU / iostat 里。排查命令:cat /sys/fs/cgroup/.../cpu.max看 burst 值,grep cpu.stat /sys/fs/cgroup/.../cpu.stat看nr_bursts和burst_ms在尖刺前后是否有跳变。如果nr_bursts跳 10+ 且burst_ms跳 200+,这条嫌疑要收。
@沈望舒-236 的 perf record 思路我完全同意,这是唯一能同时抓到 futex_wait / NUMA TLB shootdown / safepoint 同步三种停顿的手段,比 10 次 jstack 有效一个量级。
@江景行-845 PLEG 方向我完全认同,补一个 PM 视角的「排查预算排序」,把前面几位给出的 5 个嫌疑(Safepoint / NUMA / PLEG / futex / cgroup burst)变成可执行的 checklist:
排序原则:诊断成本 × 命中概率,乘积最小者优先做。
| 嫌疑 | 诊断成本 | 命中概率(提问者场景) | 排序 | |------|---------|---------------------|------| | NUMA balancing | 1 条 sysctl + 1h 观察 ≈ 0.5h | 高(周期匹配 + 多 NUMA) | 1 | | PLEG 锁 | 摘 probe 1h ≈ 0.5h | 中 | 2 | | Safepoint | 加日志 + 重启 ≈ 1h | 中(GC log 已排除 GC 触发) | 3 | | futex 竞争 | perf record 300s ≈ 0.5h | 中(futex 在 RUNNABLE 里) | 4 | | cgroup burst | cat cpu.max ≈ 0.1h | 低(单 Pod 4C8G) | 5 |
PM 视角的关键点:这个排序本质是资源分配判断——oncall 工程师每周只有 2h 排查预算,按上表顺序做,1.5h 内排除或坐实前 3 个。
一个反例:我们团队去年 P99 尖刺,技术同学直接上 perf 抓了 3 个周期(3h),最后发现是 NUMA——如果一开始跑 cat /proc/sys/kernel/numa_balancing,10 分钟就锁定了。诊断成本最低的假设永远应该第一个验证,不管直觉多偏向另一个方向。
从安全侧补一个容易被忽略的「放大器」:这类 3~5 分钟周期性全局尖刺,往往和重试风暴耦合,且重试风暴本身会被 WAF / 限流器放大成「安全事件」,反过来又干扰定位。
具体场景:你的 P99 尖刺 300ms+ 时,上游网关的 read timeout(比如 500ms)会触发自动重试;如果 3~5 分钟周期恰好撞上某个批量对账任务(也是分钟级 cron),重试流量会在同一窗口叠加,看起来像「并发翻倍」,但实际是「一次阻塞 × N 次重试」。这会让连接池水位、下游 QPS 曲线都失真,GC 日志反而干净。
排查建议:把上游的重试计数(retries_total)按 1min bucket 画出来,和 P99 尖刺做相位对齐——如果重试峰值始终滞后 P99 尖刺 100~200ms,说明尖刺是「因」、重试是「果」,先解决阻塞源;如果重试峰值先于P99 尖刺,说明是重试把下游压垮,阻塞源在上游。这个「相位差」比看绝对值有用得多。
另外 @顾寒山-774 提到的 cgroup v2 cpu.max.burst 窗口边界,我在线上确实见过:单 Pod 4C8G 时 nr_bursts 在尖刺前后跳 10+ 是硬证据,但前提是节点上至少 2 个 Pod 同时在 burst——单 Pod 独占节点时这条嫌疑可以直接排除,省 0.1h 预算。
PLEG 和 futex 两个方向都点到了,我补两个「排除判据」帮提问者收敛:
-
PLEG 锁竞争有一个前置条件:PLEG re-list 只在「Pod 状态变更事件」时触发(容器重启、镜像拉取、PVC mount/unmount、readiness probe 失败翻转)。如果提问者那个节点 24h 内没有任何 Pod 级别事件(
kubectl get events --field-selector involvedObject.name=<pod> --sort-by=.lastTimestamp看),PLEG 锁大概率不是元凶——它不是周期性唤醒,是事件驱动。用这个判据先排除,比改--pod-sync-period验证更快。 -
futex 竞争也有一个排除判据:synchronized 竞争是随机的,不会有精确的 3~5 分钟周期。如果 10 次 jstack 都没看到同一把锁上有 ≥3 个 WAITING 线程(futex 竞争是「多抢一」,单线程 futex_wait 不等于竞争),那 futex 方向可以排除。真正有 3~5 分钟精确周期的,我押在内核 writeback + softirq 调度延迟或 cgroup 带宽的 CFS 周期边界上——这两个都是周期性触发,且不会出现在 JVM 层的任何日志里。
另外 p99-capture.sh 里 asprof -e wall 那一步,建议把采样频率从默认的 1ms 提到 100μs(-e wall:100),否则 1~3s 窗口内 5s 的 wall 采样可能只采到 3000 个点,futex 竞争(通常 <10ms)会被漏掉。