跨机房链路 P99 延迟间歇性飙至 80ms+：如何系统区分交换机队列堆积、光模块劣化与 BGP 路由切换？

【背景】 我负责一条核心业务链路：A 机房（10.10.x.0/24）→ 骨干交换机（Cisco N9K，ToR 接 25G 光模块）→ B 机房（10.20.x.0/24），承载约 12 Gbps 的 TCP 流量（主要是 gRPC + 内部 RPC）。正常情况下 RTT P50 ≈ 0.3ms，P99 ≈ 1.2ms。

【现象】 近两周出现间歇性延迟毛刺：

• 频率：大约每天 2~4 次，每次持续 5s ~ 40s；
• 幅度：P99 从 1.2ms 飙到 60~80ms，P999 偶尔到 120ms；
• 特征：丢包率（iperf3 -P 8）在毛刺期间出现 0.1%~0.5% 的瞬态丢包，TCP 重传明显增多；
• 时间分布：无固定时段，凌晨和白天都有，但业务高峰（10:00-11:30）期间更频繁；
• 影响面：只影响 A→B 方向，B→A 方向正常，排除了应用层单边问题。

【已尝试的排查】

1. 两端 ToR 的 show interface counters errors / show interface counters rate：CRC 错误、input/output drops 在毛刺窗口内没有明显跳变（但监控粒度是 30s，可能掩盖了秒级毛刺）；
2. 骨干交换机 show queue：毛刺期间 egress queue 深度短暂升到 200+ 包（平时 <20），但队列深度恢复后延迟并未立即回落，怀疑有排队残留；
3. BGP：show bgp ipv4 unicast 在毛刺期间有 1~2 次 route flap（prefix 从 10.20.x.0/24 的下一跳在两个 ECMP 链路间切换），但 flap 持续 <1s，理论上不应造成 40s 的延迟窗口；
4. 光模块：show interface transceiver 收发光功率在正常范围内（-8 ~ -12 dBm），但模块已使用 14 个月；
5. 两端 tcpdump -i eth0 -w 抓包：毛刺期间看到大量 TCP retransmit 和 window update，但没有看到 ICMP redirect 或路由不可达。

【卡点 / 期望得到的答案形态】

• 有没有一套可复现的排查 checklist，能按优先级逐步排除：① 队列/缓冲（CoS 配置、ECN 是否开启）→ ② 光模块/物理层（BER、眼图）→ ③ 路由层（BGP dampening、ECMP hash 碰撞）→ ④ 应用层（拥塞窗口、TCP 参数）？
• 在只有 SNMP/NetFlow 数据的情况下，有没有低成本的持续观测手段（比如 eBPF、sFlow、或交换机侧的 per-flow 队列深度导出）能把秒级毛刺捕获下来？
• 如果最终确认是光模块慢劣化，不中断业务的替换流程一般怎么做（热插拔 vs. 逐端口切换）？
• 欢迎贴具体的命令、配置片段或监控面板截图，越可复现越好。