指标告警误报率从 66% 降到 9%：固定阈值、3σ、同环比三种基线方案怎么选

站在「指标体系搭建」视角，对比三种异常判定方案的误报率、维护成本与适用场景，给一套可直接跑的 SQL 与阈值参数。

一、现象与背景：告警疲劳比漏报更致命

接手一个 B 端数据平台，监控 42 个核心业务指标（DAU、付费转化率、订单量、API 成功率等），当时的告警规则全是运营拍脑袋的固定阈值：DAU < 50 万告警、订单速率 < 8000 单/分钟告警、API 成功率 < 99% 告警。

一个季度（91 天）里告警触发了 138 次，oncall 复盘后确认只有 47 次是真实异常，误报率 66%。更糟的不是误报本身，而是「告警疲劳」：值班同学开始直接静音告警群。真正的一次付费转化腰斩（真实故障）在被定位时已经过了 3 小时 20 分钟——因为前 40 分钟里那串「误报」让大家默认这批告警都是噪声。

规模参考：日均埋点 2.3 亿条事件，核心指标 T+1 出数；实时指标（API 成功率、订单速率）走 1 分钟粒度。

二、原理与根因：固定阈值为什么必然误报

核心矛盾一句话：业务指标天然有周期性 + 趋势性，而固定阈值是常数。

1. 周期性：DAU 周末比工作日低 18%~25%，固定阈值「DAU<50万」在周六几乎必然误报。
2. 趋势性：业务在增长，三个月前 50 万是异常下限，现在 50 万已是正常下限。阈值没跟着涨，就会「漏报 + 误报」并存。
3. 噪声：API 成功率在 99.0%~99.9% 之间正常波动，设 99% 阈值意味着每次抖动到 99.1% 都告警；而真正需要介入的是「持续下跌」而非「单点抖动」。

本质：固定阈值把「正常波动带」当成了「异常」。它没有回答真正该问的问题——相对于它自己平时，现在是不是异常。

三、三种方案对比 + 具体做法

方案 A：固定阈值（现状）

• 优点：零维护、可解释。
• 缺点：误报率 66%，无法适应周期与趋势。
• 适用：只有「硬红线」指标（如支付成功率 < 95% 直接 P0）。

方案 B：统计基线（μ ± kσ）

用近 N 天同小时窗口的均值和标准差，判定 |x - μ| > k*σ。

-- 基线表：按 (metric, hour_of_day, minute_of_day) 聚合近 28 天
SELECT
  metric,
  hour_of_day,
  minute_of_day,
  AVG(value)        AS base_mu,
  STDDEV_POP(value) AS base_sigma,
  COUNT(*)          AS n
FROM real_time_metric
WHERE ds BETWEEN date_sub(current_date, 28) AND date_sub(current_date, 1)
GROUP BY metric, hour_of_day, minute_of_day;

-- 判定：|x - mu| > 3*sigma 且 n >= 20（样本下限）

• k 取 3（经验值，3σ 覆盖约 99.7% 的正态波动）；n≥20 防止样本太少时 σ 被单点拉爆。
• 优点：自动适应趋势与周期。
• 缺点：假设近似正态；对长尾指标（订单量）σ 会被大促拉大，导致平时漏报。

方案 C：同环比（上周同刻 / 昨天同刻）

拿「上周同一时刻」作基线，判定相对偏离度：

deviation = (x - base) / base
告警条件：deviation < -0.20 且连续 3 个窗口（防抖）

• 优点：可解释（「比上周同一时刻跌了 22%」）、对长尾指标友好、不依赖正态假设。
• 缺点：大促 / 节假日基线本身异常时会失真；必须「连续 N 个窗口」防抖，否则单点抖动就误报。

我最终的取舍（按指标类型分而治之）：

• 硬红线指标（支付成功率、资金类）→ 固定阈值，跌破 95% 直接 P0；
• 平稳型指标（API 成功率、延迟 P99）→ 3σ 基线，k=3，n≥20；
• 长尾 / 强周期指标（订单量、DAU、GMV）→ 同环比，环比偏离 < -20% 且持续 3 窗口。

四、踩过的坑 / 反直觉之处

1. 防抖比阈值更关键：最初只设「单窗口 deviation < -20%」，误报率仍高达 41%；加上「连续 3 个窗口」后降到 15%；再叠加「偏离幅度分级」（<20% 提示、20~40% P2、>40% P1）后降到 9%。
2. 3σ 必须设 n 下限：不设 n≥20 时，凌晨低峰时段 n 只有 6~8，σ 被一两个异常点拉到 3 倍，结果该时段几乎不告警（漏报）；加上 n 下限后凌晨漏报消失。
3. 同环比遇到节假日会全错：春节那周「环比上周」全是假基线——基线本身在涨，导致「正常下跌」被判为异常。解法：维护一张「活动日历」，命中节假日时切到「去年同期」基线。
4. P99 延迟不能用均值基线：用均值算基线，P99 的毛刺永远落在 3σ 外，天天告警；改成对 P99 自身做同环比后才稳定。

五、结论与可复用清单

1. 先给指标分类（硬红线 / 平稳 / 长尾周期），再选基线方案，别一套阈值打天下。
2. 固定阈值只留给「跌破即 P0」的硬红线。
3. 平稳指标用 3σ：k=3、n≥20、按 (hour, minute) 建基线。
4. 长尾 / 强周期指标用同环比：偏离 < -20% 且连续 3 窗口，偏离幅度分级。
5. 防抖（连续 N 窗口）+ 分级，比单纯调阈值更能降误报。
6. 维护活动日历，节假日切「去年同期」基线。
7. 上线新规则后，回扫近 90 天历史，统计误报率 / 漏报率，再灰度放量。

参数速查表：

| 指标类型 | 基线方案 | 关键参数 | | --- | --- | --- | | 硬红线 | 固定阈值 | 阈值 + 跌破即 P0 | | 平稳型 | 3σ | k=3, n≥20, 按 (hour,minute) 建基线 | | 长尾 / 强周期 | 同环比 | 偏离 < -20%, 连续 3 窗口, 幅度分级 |