先给结论
你缺的那块拼图,我押在两个方向上(概率从高到低):
-
K8s PLEG(Pod Lifecycle Event Generator)锁竞争——kubelet 内部一个全局互斥锁,周期性触发(sync loop 默认 1min,但 PLEG 有已知的 re-list 风暴),持锁期间所有 Pod 的 status 更新、health check 回调、event 上报全部排队。它不会出现在 GC log、CPU、
iostat的任何一条里,但会让 Pod 内所有正在等 I/O 就绪的线程同时被 stall 几百 ms 到 1s+。你的「所有请求同时受影响 + 同节点其他 Pod 不受影响」这条特征恰好吻合:PLEG 锁是 per-node 的,但只有正在处理 status 变更的 Pod 会被阻塞——你的订单查询 Pod 如果恰好在那个窗口有 readiness probe 回调或 event 上报,就会被卡住。 -
JVM 层的 futex 竞争 / 线程池饱和——你 jstack 抓了 10 次没看到 BLOCKED,但 futex wait 在线程 dump 里显示为 RUNNABLE(epoll_wait / futex_wait),不是 WAITING。3~5 分钟周期 + 低 QPS 时消失 = 典型的「竞争型阻塞」(不是绝对资源不够,是并发到达时撞锁)。
一、用「3~5 分钟周期」做金线排查
这是你手里最有力的诊断线索。列出在 Spring Boot 3 + K8s 1.28 栈上所有已知 1~10 分钟周期的操作,逐一排除:
| 周期来源 | 默认间隔 | 怎么确认/排除 |
|---------|---------|-------------|
| K8s kubelet sync loop | 1min | journalctl -u kubelet --since "1h ago" \| grep -i "PLEG\|sync\|reconcil" |
| K8s PLEG re-list(已知 bug #101927) | 不固定,有 Pod 事件时触发 | journalctl -u kubelet \| grep "PLEG: is slow" |
| kubelet liveness/readiness probe | 你的配置(默认 10s) | 改 probe 周期到 1s 看尖刺是否跟着变密 |
| Spring Boot actuator health 内部刷新 | 配置决定 | logging.level.org.springframework.boot.actuate.health=DEBUG |
| HikariCP housekeeper | 30s | 调 housekeepingPeriodMillis=5000 看是否变密 |
| G1 Concurrent Mark 周期 | 取决于堆使用率 | -Xlog:gc*=debug 看 Concurrent Mark 频率 |
| C2 JIT 后台编译 | 不固定 | -XX:+LogCompilation 看 compile 事件时间戳 |
| 应用内 @Scheduled / 消息 poll | 你的配置 | 加 trace log 打时间戳 |
| K8s 节点上 cAdvisor 采集 | 默认 10s | kubectl logs -n kube-system cAdvisor-xxx \| grep "throttle\|error" |
| 同节点其他 Pod 的 I/O burst | 不固定 | blktrace 或 perf trace -e:block_rq_complete |
关键动作:把上面每一项的「实际触发时间戳」和「你的 P99 尖刺时间戳」做对齐。我建议你写一个 5 行的脚本:
#!/bin/bash
# 每 2s 采一次,持续 30min,输出到文件
while true; do
ts=$(date +%s%3N)
gc_last=$(tail -1 /var/log/gc.log | awk '{print $1}')
hika_active=$(curl -s localhost:8080/actuator/metrics/hikaricp.connections.active | jq .value)
pleg_warn=$(journalctl -u kubelet --since "2s ago" 2>/dev/null | grep -c "PLEG")
echo "$ts gc=$gc_last hikari=$hika_active pleg=$pleg_warn"
sleep 2
done > /tmp/correlation.log
跑 30 分钟,尖刺一定会出现 6~10 次,你对齐时间戳就能定位是谁。
二、针对「所有线程同时受影响」的精准诊断命令
你已经排除了 GC 和 CPU,那剩下的「全局 stall」只有三种物理机制:
- OS 调度层:所有线程被同时 deschedule(cgroup 操作、futex 全局唤醒、TLB shootdown)
- JVM 层:Safepoint(已有答案覆盖,不重复)
- I/O 层:所有线程在等同一个 I/O 设备(磁盘、网络、共享内存)
抓 OS 调度延迟(你提到的 perf sched,给完整命令)
# 在 Pod 所在节点上(需要 root 或 SYS_ADMIN)
# 方法 1:perf sched(看调度延迟)
perf sched record -a -g -- sleep 300
perf sched latency --sort max | head -20
# 关注 "delay" 列 > 100ms 的条目,看是哪些 PID 被 stall
# 方法 2:bpftrace 精确抓 futex 竞争(比 jstack 更准)
bpftrace -e '
tracepoint:syscalls:sys_enter_futex /arg0 == 2048/ { @start[tid] = nsecs; }
tracepoint:syscalls:sys_exit_futex /@start[tid]/ {
$dur = (nsecs - @start[tid]) / 1000;
if ($dur > 100) {
printf("futex_wait pid=%d dur=%dms\n", pid, $dur);
}
delete(@start[tid]);
}'
# 关注同一时刻多个 PID 同时 futex_wait > 100ms = 全局锁竞争
# 方法 3:cgroup 操作追踪(K8s 层面)
bpftrace -e '
tracepoint:raw_syscalls:sys_enter /args->common_audit_data.auid == 0/ {
if (str(args->filename) == "cgroup") {
printf("cgroup_write pid=%d ts=%d\n", pid, nsecs);
}
}'
抓 I/O 层(你的 iostat %util 尖刺要细查)
# 精确到每个 block device 的延迟分布
iostat -xdm 1 300 > /tmp/iostat.log
# 关注 await 列:如果 await 从 0.5ms 突然跳到 200ms+,就是 I/O 排队
# 用 blktrace 看具体是哪个进程在抢 I/O
blktrace -d /dev/nvme0n1 -o - | blkparse -i - | grep "W [WRITE]" | head -50
# 或者用 iotop
iotop -oPa -d 1
抓 K8s PLEG 锁(我的第一嫌疑)
# kubelet 日志里搜 PLEG 慢
journalctl -u kubelet --since "2h ago" | grep -iE "PLEG|slow|took"
# 如果确认是 PLEG,看节点上 Pod 数量
kubectl get pods --all-namespaces --field-selector spec.nodeName=<node> | wc -l
# 超过 50 个 Pod 的节点 PLEG 锁竞争概率显著上升
# 临时验证:把 kubelet 的 --pod-sync-period 从默认 1m 改到 30s
# 如果尖刺周期跟着变成 1~2 分钟,基本坐实
三、自动抓取脚本(1~3s 窗口不再错过)
你手动 jstack 抓 10 次都错过,说明窗口只有 1~3s。解法:让告警触发抓取,而不是人肉盯着。
#!/bin/bash
# /usr/local/bin/p99-capture.sh
# 由 Prometheus alert 触发(P99 > 100ms 持续 2s)
PID=$(pgrep -f "java.*order-service")
TS=$(date +%Y%m%d_%H%M%S)
OUT=/tmp/capture_${TS}
# 1. 连续抓 5s 的 async-profiler wall 模式(能抓到 safepoint + futex)
./asprof -e wall -d 5 -f ${OUT}_wall.html $PID &
# 2. 同时抓 jstack × 3(间隔 200ms)
for i in 1 2 3; do
jstack $PID > ${OUT}_jstack_$i.txt &
sleep 0.2
done
# 3. 抓 /proc 快照
cp /proc/$PID/status ${OUT}_proc_status
cat /proc/$PID/stack > ${OUT}_kernel_stack 2>/dev/null
cp /proc/$PID/smaps_rollup ${OUT}_smaps
# 4. 抓 cgroup 状态
cat /sys/fs/cgroup/memory/${POD_ID}/memory.pressure > ${OUT}_mem_pressure
cat /sys/fs/cgroup/cpu/${POD_ID}/cpu.stat > ${OUT}_cpu_stat
# 5. 抓 GC log 最后 20 行
tail -20 /var/log/gc.log > ${OUT}_gc_tail
# 6. 抓节点 iostat 最近 5s
iostat -xdm -c 5 > ${OUT}_iostat
# 7. 抓 kubelet 最近 10s 日志
journalctl -u kubelet --since "10s ago" > ${OUT}_kubelet
wait
echo "Capture complete: ${OUT}*"
把这个脚本部署到 Pod 所在节点,配 PrometheusAlert → webhook 触发,30 分钟内一定能抓到 2~3 次完整现场。
四、如果最终定位是 OS/K8s 层的缓解方案
| 根因 | 缓解方案(不是加机器) |
|------|---------------------|
| PLEG 锁竞争 | 1) 把该 Pod 调度到 Pod 数 < 30 的节点(nodeSelector / topologySpreadConstraints);2) 升级 kubelet 到 1.29+(PLEG 锁粒度优化);3) 减少同节点 Pod 数(加 maxPods 到 kubelet 启动参数) |
| futex 全局竞争 | 1) 减少同时唤醒的线程数(-XX:+AlwaysPreTouch 已做,再加 -XX:ReservedCodeCacheSize=256m 减少 JIT 编译竞争);2) 检查是否有 synchronized 热点方法(-XX:+PrintSynchronizedLocks) |
| I/O 抢占 | 1) cgroup blkio 限制同节点其他 Pod 的 I/O 带宽(kubectl exec -- blkio.weight=100);2) 把该服务调度到独立 NVMe 节点(nodeAffinity);3) 内核参数 vm.dirty_ratio=5 vm.dirty_background_ratio=3 减少 writeback burst |
| NUMA 页面迁移 | 1) echo 0 > /proc/sys/kernel/numa_balancing;2) 或用 numactl --cpunodebind=0 --membind=0 java ... 绑单 NUMA node |
五、我的排查优先级建议(按 ROI 排序)
- 先跑 30 分钟时间戳对齐脚本(第一节),5 分钟写、30 分钟跑,大概率直接定位周期源
- 部署自动抓取脚本(第三节),下次尖刺时不再靠手动
- 查 PLEG 日志 + 节点 Pod 数(第二节 K8s 部分),如果节点 > 50 Pod,直接调度走
- 开 bpftrace futex 监控(第二节),如果看到同时刻多 PID 竞争 > 100ms,就是 JVM 内锁问题
- 最后才查 NUMA / page cache(概率最低,但排除成本高)
你的直觉「内核调度延迟」方向是对的,但具体到 K8s 环境,PLEG 锁是比 NUMA 更常见的 3~5 分钟周期全局 stall 源,而且它完美解释「同节点其他 Pod 不受影响」(只有正在处理 status 的 Pod 会被卡)和「低 QPS 时消失」(低 QPS 时 probe 回调频率低、撞锁概率低)。先查这个,5 分钟出结论。