监控告警阈值：绝对阈值 vs 动态基线（季节性基线），你们线上到底用哪个？

【背景】 做了 10 年算法工程，最近半年主要在帮业务搭指标体系与告警链路。踩到一个反复出现的坑：阈值定得太死，要么半夜狼来了，要么白天出事没人喊。

举两个真实场景（已脱敏）：

• 场景 A：某支付网关 P99 绝对阈值 500ms，但业务曲线有强双峰（8-11 点、20-23 点），白天峰值常态 320-420ms，阈值常年贴边 → 告警群一天 30+ 条，值班同学直接屏蔽；结果一次真正的 600ms 劣化被淹没。
• 场景 B：某离线结算任务，平时 P95 在 40s 附近，某天上游数据量翻倍导致 P95 涨到 70s，没触发绝对阈值（120s），下游对账窗口被吃掉一半才发现。

两个场景根因一样：业务指标天然带季节性，绝对阈值和真实分布对不上。

【常见分歧 / 几种做法】 我调研过 5 个团队的线上配置，大致分三派：

派系一：绝对阈值派（多数中小团队）

• 做法：按 P99 定 1.5-2 倍余量，配 3 分钟窗口，连续 2 次触发。
• 优点：稳定、可解释、值班同学 3 秒看懂、SLO 直接挂到阈值上。
• 代价：对季节性业务误报多；对低频任务（每天跑一次）几乎没意义——阈值要么常年不响要么一响就是 P1。

派系二：动态基线派（大厂 / 云厂商监控常见）

• 做法：STL 分解 / EWMA / 分位数基线，告警条件变成「当前值 > 基线 × k」或「偏离基线 > n 个 MAD」。
• 优点：贴合真实分布，半夜也能捕捉劣化。
• 代价：基线本身会漂移（新版本上线、流量结构变化），MAD 在低流量时段会虚高 → 基线反过来「吃掉」真实劣化；调试成本高，值班同学看到「偏离基线 3 个 MAD」第一反应是懵。

派系三：双轨派（绝对 + 基线并行）

• 做法：绝对阈值兜底（P1 级），基线告警做「提前量」（P2/P3 级，给值班同学 10-30 分钟缓冲）。
• 优点：兼顾稳定和敏感度。
• 代价：告警条数翻倍，需要分级别的响应 SOP，否则等于没做。

【我的倾向与理由】 我倾向派系三 + 一个硬约束：

1. 绝对阈值按「最坏季节（通常是业务峰值）」的 P99 定，而不是均值 × k。理由：SLO 是给用户的承诺，最坏季节才是真实暴露面。
2. 基线告警必须带最小样本量门槛（如 5 分钟窗口内请求数 < 100 时直接降级为「观察」不告警）+ 置信区间（基线本身的 95% CI 宽度 > 当前偏离量时，不告警）。没有这两条，基线在低流量时段会变成「自己骗自己」。
3. 双轨的响应 SOP 必须分级别：P1 走电话 + 群，P2 走群 + 工单，P3 只进日报。没有 SOP 的双轨等于把告警噪声放大 2 倍。
4. 一个反直觉的观察：动态基线最大的敌人不是算法精度，而是基线自身的漂移。我见过一个团队用 STL 基线，发版后 3 天内基线没跟上，连续 2 天没报 P1。所以基线必须带「漂移速率」监控（基线 1 小时环比变化 > X% 时告警），让基线本身也可观测。

想听大家在不同场景下怎么选：

• 高频实时业务（支付 / 交易 / 风控）：绝对阈值够用，还是必须上基线？
• 低频批处理（日结 / 月结 / 离线 ETL）：绝对阈值基本失效，你们怎么定「提前量」？
• 低流量服务（QPS < 10）：基线统计量都不稳定，怎么取舍？
• 值班 SOP 层面：双轨告警的响应分级你们怎么定？P1/P2/P3 的边界卡在哪个指标上？
• 有没有人踩过「基线漂移吃掉真实劣化」的坑，怎么从日志里证实？

期待被拍砖。