先给结论
你缺的那块拼图大概率是 JVM Safepoint 停顿——它满足"所有线程同时暂停、GC log 无记录、jstack 抓不到 BLOCKED、CPU 无异常"全部特征,且 3~5 分钟周期与某些周期性触发源(System.gc() 隐式调用、JIT 去优化、ClassLoader 锁竞争)高度吻合。第二嫌疑是 OS 级 page cache reclaim / NUMA balancing,你 iostat 已看到 %util 尖刺但没细查,这条也要收掉。
下面按"排除顺序 + 可执行命令"给系统排查路径。
一、第一嫌疑:JVM Safepoint(概率最高)
为什么是它:Safepoint 是 JVM 让所有 Java 线程同步暂停的机制。触发源包括 GC、JIT 编译/去优化、thread dump、System.gc()、decommit 等。其中非 GC 触发的 safepoint 不会出现在 -Xlog:gc* 里,jstack 抓的时候线程已经恢复 RUNNABLE(因为停顿只有 1~3s,你手动触发 jstack 大概率错过了),CPU 也不异常(因为线程是"暂停"不是"忙碌")。
怎么查(按优先级):
1. 开 Safepoint 日志(零侵入,立即加)
# 加到 JVM 启动参数
-Xlog:safepoint=info:safepoint.log:time,uptime,tid,level,tags
-Xlog:safepoint:async:file=safepoint_async.log:time,uptime,tid,level,tags
重启后观察 1~2 小时,safepoint.log 里会出现类似:
[0.123456s][info][safepoint] VM Operation "G1 Concycle" begin
[0.123460s][info][safepoint] VM Operation "G1 Concycle" end (0.004ms)
关键看:是否有非 GC 的 VM Operation(如 "Thread dump"、"Deoptimize"、"System.gc")在尖刺时刻出现,且 end - begin 时间 ≥ 100ms。
2. 开 JIT 去优化日志
-XX:+LogCompilation -XX:LogFile=jit.log -XX:CompileThreshold=1500
尖刺时刻 grep "Deoptimization" jit.log,看是否有周期性 deopt(比如某个方法在 3~5 分钟被反复 deopt → recompile)。
3. 排除隐式 System.gc()
# 加参数禁止隐式 GC(如果业务允许)
-XX:+DisableExplicitGC
# 或者用日志确认
-Xlog:gc*=info:gc.log
Spring Boot 3 默认不主动调 System.gc(),但某些第三方库(如 Netty 的 PooledByteBufAllocator、HikariCP 的 evictIdleConnections)可能在特定条件下触发。检查你的依赖里有没有显式 System.gc() 调用。
4. 用 async-profiler 抓"停顿期间的 CPU 到底在哪"
# 尖刺时刻(用你的告警触发)执行:
./asprof -e cpu -d 5 -f /tmp/profile_%t.html <pid>
# 或者用 wall-clock 模式(能抓到 safepoint 等待):
./asprof -e wall -d 5 -f /tmp/wall_%t.html <pid>
wall-clock 模式是关键:它会把"线程在 safepoint 等待"的时间显示为 Safepoint 帧,而 CPU 模式看不到(因为线程没在跑 CPU)。
二、第二嫌疑:OS 级 I/O & NUMA
你提到 iostat 有短暂 %util 尖刺但没细查。3~5 分钟周期在 OS 层有一个常见触发源:
1. NUMA Balancing(如果节点是多路)
# 检查是否开启
cat /proc/sys/kernel/numa_balancing
# 如果 =1,内核会周期性(默认 ~10s~60s,但实际间隔取决于内存压力)做页面迁移
# 页面迁移期间,访问该页面的线程会被短暂暂停(TLB shootdown)
# 在 16C64G 节点上,如果 Pod 的内存分配跨 NUMA node,这个影响会被放大
# 临时关闭验证(需要 root):
echo 0 > /proc/sys/kernel/numa_balancing
# 观察尖刺是否消失
2. Page Cache Reclaim / kswapd
# 尖刺时刻抓 /proc/vmstat 的增量
watch -n 0.5 "grep -E 'pgpgin|pgpgout|pgfault|pgmajfault|pswpin|pswpout' /proc/vmstat"
# 或者用 pidstat:
pidstat -r -d 1 # 每 1s 采一次,看 RSS / IO 变化
如果 pgmajfault 在尖刺时刻突增,说明有冷页面被换入——这通常意味着 Pod 的 RSS 虽然"稳定在 5.2G",但工作集里有冷页被 page cache 挤出去了。
3. Kubelet 周期性操作
# 看 kubelet 日志在尖刺时刻有没有动作
journalctl -u kubelet --since "5min ago" | grep -iE "evict|gc|image|health"
# 看 image GC 阈值
crictl info | jq '.config.containerd.root' # 确认 containerd 数据目录
# 看节点上是否有周期性 cron 任务
cat /etc/crontab; ls /etc/cron.d/
K8s 1.28 的 kubelet imageGCHighThresholdPercent 默认 80%、imageGCLowThresholdPercent 默认 50%——如果节点磁盘使用率在这两个阈值之间震荡,每次触发 image GC 都会产生 I/O 尖刺。
三、第三嫌疑:应用层"不可见"的周期性操作
你排除了 3 个 @Scheduled(cron 间隔 10min),但还有几个容易漏的:
1. HikariCP 的 housekeeper 线程
// HikariCP 默认每 30s 跑一次 housekeeper(检查连接存活、驱逐空闲连接)
// 但 "evict idle connections" 的触发条件是 connectionTimeout 到期
// 如果 pool 里有连接刚好在尖刺时刻到期,会触发一次同步的 close + 重建
// 查 HikariCP 日志:
logging.level.com.zaxxer.hikari=DEBUG
2. Spring Boot Actuator 的 health check
# 如果 ingress / service mesh 每 30s 做一次 health check,
# 且 health check 触发了 DB 连接探活,那 12 个并发探活可能恰好撞上
curl -s http://localhost:8080/actuator/health | jq '.status'
# 看 Spring 的 health check 是否触发了额外的 DB 查询
3. JIT 编译的"tiered compilation"周期
Java 17 默认开启 tiered compilation(C1 → C2)。如果某个热点方法在 3~5 分钟被反复 "C2 编译 → 执行 → 条件变化 → deopt → C1 重编译",这个周期就会表现为全局停顿。-XX:+LogCompilation 能确认。
四、系统性排除的"决策树"
尖刺发生
├─ 1. safepoint.log 有非 GC 的 VM Operation?
│ ├─ YES → 找到触发源(deopt / System.gc / thread dump)→ 定位
│ └─ NO → 继续
├─ 2. async-profiler wall 模式有 "Safepoint" 帧?
│ ├─ YES → 回到 1,可能是日志级别不够
│ └─ NO → 继续
├─ 3. /proc/vmstat 的 pgmajfault 突增?
│ ├─ YES → 内存压力 / NUMA → 查 numa_balancing + cgroup memory.high
│ └─ NO → 继续
├─ 4. iostat -x 1 的 %util / await 尖刺?
│ ├─ YES → I/O 抢占 → 查同节点其他 Pod 的 I/O + kubelet image GC
│ └─ NO → 继续
└─ 5. 以上全否 → 怀疑内核态(调度器 / 中断)
└─ perf record -g -p <pid> -a -- sleep 5 → 看内核态占比
五、一个我踩过的类似案例
我们之前一个微服务也是"每 4 分钟全局 P99 尖刺 200ms+,GC/CPU 全正常"。最后定位是 Netty 的 PooledByteBufAllocator 在 trimToSize 时触发了 System.gc()(Netty 4.1 的已知行为,在 SystemPropertyUtil.getBoolean("io.netty.noPreferDirect", false) 为 false 时)。排查路径:-XX:+DisableExplicitGC 加上去尖刺消失 → 确认是隐式 GC → 找到 Netty 的触发点。
建议你先加 -XX:+DisableExplicitGC 跑 24 小时(如果业务允许),这是最低成本的排除法。如果尖刺消失,再逐步定位是谁调的。
六、补充一个开放问题
如果最终定位是 safepoint / JIT 层面的问题,你们会考虑换 ZGC(Java 17 的 ZGC 是 concurrent 的,safepoint 暂停 < 1ms)来彻底消除这类"不可见停顿"吗?还是说在 G1 上把 -XX:MaxGCPauseMillis 压到 50ms 就够了?我好奇在 800~1200 QPS、4G 堆的场景下,ZGC 的吞吐代价你们怎么评估的。