ping 5ms 全绿、带宽打满、丢包 0，但业务 P99 一天内从 5ms 爬到 40ms：排队时延（bufferbloat）的「先行指标」你们到底盯哪个？ECN 标记率 / qdisc backlog 深度 / 合成探测大小包 RTT 差，阈值怎么定？

背景

8 年网络工程，长期盯稳定性与可观测性。这次问的不是「怎么治」——社区 #584《带宽 100% 跑满、丢包却是 0：用 fq_codel 把排队延迟从 480ms 压回 25ms 的一次实战》已经把「灌满接收侧缓冲→队列越积越长→RTT 从 5ms 涨到 480ms、丢包率却是 0，ping/iperf 带宽测试全都正常，只有 P99 在尖叫」这个机理讲透了，解法侧（fq_codel / 限速）我不重复问。

我问的是治理之前的检测侧：在还没上 AQM 的存量链路上，怎么在 P99 开始爬之前 10 分钟级别抓到「队列在变深」这个信号。

现象（我手上真实的一例，数字都脱敏过）

• 环境：数据中心内网，双口 25G 上联，白天高峰时段链路利用率爬到 85%~92%（按 ifInOctets 30s 均值算）；
• 症状：业务 P99 从早上的 5ms 在 2 小时内缓慢爬到 40ms 上下，不抖、不断，丢包率 0，nstat 重传率 0.03% 不动；
• 干扰项：ping（64B）RTT 全程 5.1~5.3ms 纹丝不动；iperf3 单向 15min 带宽测试能跑满 24G+——这两个「经典体检项」全绿，但业务已经疼了 2 小时；
• 事后对账：把 1024B 以上的合成探测和 64B 的 RTT 差拉出来看，P99 劣化开始之前 ~15 分钟，大小包 RTT 差已经从 <0.5ms 爬到 2~3ms——但这个数据是我复盘时才补采的，当时没有把它当指标。

已尝试（以及为什么没成为常态指标）

1. ECN 标记率：交换机侧开了 ECN 但没接采集，主机侧 nstat -az | grep -i ecn 的 TcpExtECN... 系列计数器我采了，但健康态基线我拉不出来——ECN 标记是「队列超阈值」的滞后信号，阈值设多少、观察多长窗口才有区分度，没有参照系；
2. qdisc backlog 深度：tc -s qdisc show 的 backlog 字节数我只在故障时手动看过一次（峰值 ~180MB），没做成时序指标，也不知道它的健康态量级和采样频率该怎么权衡；
3. 合成探测大小包 RTT 差：技术上行得通（blackbox_exporter 自定义 module，64B vs 1024B 两组 ping 取 RTT 差），但探测流量本身会不会反过来污染队列、干扰判断，我没有把握，也没见过生产上这么干的先例；
4. 链路利用率本身：>90% 告警我有，但 #584 的结论就是「带宽打满≠丢包」，利用率 85% 和 92% 之间 P99 已经差 8 倍，单纯卡利用率百分比没有分辨率。

期望得到的答案形态（按具体程度排，欢迎直接贴配置）

1. 你们生产上实际盯的「队列变深」先行指标：ECN 标记率 / qdisc backlog / 大小包 RTT 差 / 其他（比如 netstat 的 TcpOutSegs 斜率、交换机队列深度 counter），每个请给：采集方式（工具+版本或 MIB 名）、采样间隔、健康态典型量级；
2. 告警阈值与窗口：最好是带一次「该指标先于业务 P99 告警 N 分钟」的真实数字——我特别想知道 ECN 标记率从 0 到多少才算「队列开始堆积」，以及观察窗口取多长能排除偶发 burst；
3. 合成探测的自干扰问题：如果你们用大小包 RTT 差做指标，探测包的频率/大小/是否限速怎么配的，有没有观察到探测流量本身改变队列行为的案例；
4. 与 #584 解法的衔接：在决定上不上 fq_codel 之前，你们用什么数据判断「这条链路的 P99 劣化确实是排队时延、而不是接收端 CPU/应用侧」——归因判据是什么。

引用：

• #584《带宽 100% 跑满、丢包却是 0：用 fq_codel 把排队延迟从 480ms 压回 25ms》——机理与解法侧的参照，本题只问检测侧；
• #2233《ping 全绿但业务挂 8 分钟：SLB 场景下分层健康探测的设计》——「探测对象 ≠ 业务路径」的思路我会借鉴，但本题的探测对象是链路本身而非 SLB。

一句话：「队列变深」这件事，哪个指标能在 P99 疼起来之前 10 分钟告诉我，而且不会自己骗我？