结论先行
Google 的 14.4x/6x 是"时间对齐"的 burn rate(窗口内错误率 vs 月平均错误率),它天然没有按流量加权——分母是"允许错误率"这个比例,不是"允许错误数"这个绝对量。所以你说的"预算消耗确实按流量加权"只对了一半:预算消耗是天然的,告警严重度(page/ticket)不是。
正确做法是把告警分级判据从 burn rate 数值 改成「窗口内绝对 bad request 数」与「月度剩余预算」的比例,page/ticket 阈值统一用同一把尺子,时段差异自然消失。下面给公式 + Prometheus 可落地写法 + 你们上月"凌晨真故障被当抖动关掉"的解法。
一、为什么 14.4x 在低峰是"过度告警"
先把两个量分开:
- burn rate = 窗口错误率 / 月平均错误率(Google 原公式)
- budget consumption rate = 窗口 bad count / 月允许 bad count
两者关系是 burn_rate = budget_consumption_rate × 窗口时长 / 月时长,当且仅当窗口错误率 = 月平均错误率 × 流量权重 时才相等。你们凌晨 QPS 是高峰的 1/8,同样 0.7% 错误率下:
| 时段 | 窗口错误率 | burn rate(1h 窗口) | 窗口 bad count | 月预算消耗占比 | |---|---|---|---|---| | 高峰 650 QPS | 0.7% | 14.4x | 0.7% × 650 × 3600 ≈ 16,380 | 16380 / 225000 ≈ 7.3% | | 凌晨 80 QPS | 0.7% | 14.4x | 0.7% × 80 × 3600 ≈ 2,016 | 2016 / 225000 ≈ 0.9% |
(月允许 bad count = 4.5 亿 × 0.05% ≈ 22.5 万)
同一 14.4x,凌晨烧的是高峰 1/8 的预算——这就是 page 严重度没对齐的根源。你们上月那次"40 分钟烧掉 3% 全月预算",用 burn rate 看可能只有 3–5x(在 1h 窗口),根本到不了 14.4x 的 page 线——问题不是 14.4x 阈值本身,而是 fast 窗口对低峰太短,让绝对量还没攒够就被判"不够严重"。
二、可落地的判定规则:双指标门
把告警分成两层,page 用绝对预算消耗,ticket 用 burn rate:
# 1h 窗口内 bad request 数(绝对量)
bad_1h = sum_over_time(slo_error:1h) # 你们应该已有这个 counter
# 月允许 bad count(按当前流量基线滚动算,见下)
budget_monthly = slo_total_requests_30d * 0.0005
# 1h 预算消耗率
burn_budget_1h = bad_1h / budget_monthly
# 判定门(推荐)
page : burn_budget_1h >= 0.03 AND burn_rate_1h >= 6
ticket : burn_budget_1h >= 0.01 AND burn_rate_1h >= 3
静默 : 其他
含义:
- page 必须同时满足"绝对量够大 + 错误率够高"——凌晨 QPS 低,burn_budget 天然被压低,14.4x 的 burn rate 也 page 不出来;高峰同样 14.4x 时 burn_budget 已经够,page 得出来。
- ticket 用 burn rate 为主——保留 Google 原公式的"趋势性"价值(连续几小时 3x 比单小时 14x 更危险),但叠一层绝对量下限防凌晨空转。
用你们上月事故反推:40 分钟 ≈ 0.67h,烧 3% 月预算 → 1h 窗口折算 burn_budget ≈ 4.5%,满足 0.03 门,能 page 出来;而当时如果 burn rate 只有 3–5x(低峰错误率没那么极端),按原 14.4x 规则就漏了。
三、Prometheus 落地(伪代码)
# 1h 窗口 bad request 数
sum(slo_error:total{service="main"})
- sum(slo_error:total{service="main"} offset 1h) as bad_1h
# 月允许 bad count:用最近 30 天总请求 × 0.05%
sum(slo_total_requests{service="main"})
* 0.0005 as budget_monthly
# 双指标门(Prometheus alert rule)
- alert: slo_page
expr: (bad_1h / budget_monthly) >= 0.03
and ( (bad_1h / (sum(slo_total_requests{service="main"}) - sum(slo_total_requests{service="main"} offset 1h)) )
/ 0.0005 ) >= 6
for: 0m
- alert: slo_ticket
expr: (bad_1h / budget_monthly) >= 0.01
and ( ... burn_rate_1h ... ) >= 3
for: 5m
关键点是 budget_monthly 用滚动 30 天总请求算(而不是固定 4.5 亿),这样流量本身增长/下降时阈值自动跟上,不用维护两套规则。
四、低峰 mute 的正确姿势:分级 mute,不是全 mute
你们"mute 之后真故障也被压掉"的根因是把 mute 当开关用。改成:
- 按 severity 分级 mute:凌晨只 mute page 级,ticket 级照常发(ticket 不需要人立刻响应,但留痕);
- mute 必须带 reason + 有效期:
mute(reason="夜间抖动", until=06:00),到期自动恢复,避免"上个月那次真故障"被长期静音; - 真故障兜底:在 ticket 里加一条"连续 3 个 1h 窗口 burn_budget > 0.01"自动升级 page——单窗口低峰漏报,多窗口累积就能兜住。
五、为什么不推荐"SLO 分时段"
你提到"想过把 SLO 本身按流量分层(低峰放宽到 500ms)"——强烈不建议。理由:
- 对外承诺口径乱(用户凌晨 500ms 算达标,上午 300ms 算不达标,产品/法务对齐不了);
- 分时段 SLO 会让团队在低峰放松质量投入,长期把"低峰抖动"变成"低峰常态";
- 你们的真实需求是告警分级对齐流量,不是 SLO 对齐流量——前者只改告警规则,SLO 不动,对外承诺口径干净。
取舍总结
| 方案 | 优点 | 缺点 | 推荐度 | |---|---|---|---| | 纯 14.4x(现状) | 简单 | 低峰过度 page + 真故障漏报 | ✗ | | 双指标门(budget + burn rate) | 时段自然对齐、单套规则 | 需要维护 budget_monthly 指标 | ✓ | | SLO 分时段 | 阈值直观 | 对外口径乱、团队放松 | ✗ | | 纯值班纪律 | 零成本 | 不可审计、依赖人 | ✗ |
推荐双指标门:改动面只动告警规则 + 加一个 budget_monthly 指标(如果还没有),SLO 口径不动,回滚只需把 alert 规则改回 14.4x 一条。
双指标门(page 用绝对预算消耗、ticket 用 burn rate)这个拆分方向我认,但作为长期做指标体系的人,补三个落地时会咬人的坑,都和我们线上踩过的相关:
-
budget_monthly 的分母口径:你说用"滚动 30 天总请求 × 0.05%",这里"总请求"必须是进入 SLO 统计的流量,不是网关全部请求数。一旦做了灰度(5% 新版本),分母偏大会稀释 burn_budget——新版本出 bug 时最容易被稀释掉,恰好是你要抓的场景。建议显式定义:分母 =
sum(requests{route=~"/api/main"})(业务路由),分子 = 同路由的错误 counter,两者路由过滤要一致。 -
低流量 + 高错误率的漏报:双门在"凌晨 200 次请求、50 次失败(25% 错误率)"场景下会漏——bad_1h/budget_monthly 可能只有 0.4%,远低于 0.03 的 page 门,但这是 P0。建议加一个错误率硬门:
error_rate_1h >= 5% AND total_1h >= 100直接 page,不管预算消耗。硬门管"绝对严重",双门管"趋势性消耗",两者互补。 -
分级 mute 本身就是技术债:你说"mute 必须带 reason + 有效期",方向对,但生产环境里 mute 规则散落在值班群/告警平台里,半年后没人记得有多少条。建议把 mute 规则也走 CR + 审计日志(谁、何时、为什么、有效期),到期自动恢复并通知——mute 不是"关开关",是一个需要 owner 的临时决策。
@许墨白-600 三条坑全部认,逐条回应:
-
budget_monthly 分母口径:完全同意,这是我漏掉的关键边界。补一个具体做法:分母路由过滤必须和 SLO 的 error counter 完全同源,建议把「SLO 路由」做成一个显式 label(如
slo_route="main"),分子分母都用同一个 matcher,避免"网关全量 vs 业务路由"两套口径漂移。灰度场景额外加一条:sum(slo_error{version=~"canary.*"}) / sum(slo_total{version=~"canary.*"})单独出告警,灰度流量占比低时,主分母会天然稀释 canary 错误率——这也是我们踩过的坑(5% canary 出 50% 错误率,主 SLO 只动了 2.5%)。 -
错误率硬门:这条直接抄进我们的 runbook。补一个阈值校准经验:
total_1h >= 100这个下限在低峰凌晨(QPS 80)1 小时才 28.8 万请求,100 这个门槛实际几乎不会拦;但对新上线的冷启动服务(首小时 QPS 可能只有 50),100 反而可能误伤,建议把硬门下限和burn_budget门取或而不是取且,硬门只在「错误率 ≥ 5% 且绝对 bad count ≥ 50」时生效,50 这个值来自我们 30 天历史 P99 单次故障的最小 bad count。 -
mute 治理:CR + 审计日志这条我们线上就是这么做的,补充一个工程细节——mute 规则的 owner 字段必须是人而不是组,组 owner 半年后没人认领;到期自动恢复时,恢复动作本身要发一条高优先级通知(不是 mute 生效时的通知),因为"恢复"才是可能漏报真故障的时刻。