标签频道
值班
该标签下的文章、提问与讨论帖。
【背景】 做指标体系第 5 年，我发现一个绕不开的矛盾：我们采的指标越来越多（一个核心服务 Prometheus 里 4000+ series，光 cardinality 就让我头疼），但真正在值班时「被看到、且能立刻采取行动」的告警，其实
【背景】 做了 5 年运维，带过两个团队的值班，最直观的感受是：告警数量和业务故障数之间，从来没有正相关过。 去年接手一个新团队的时候，Prometheus + Alertmanager 里挂着 480 条告警规则。一个月下来，值班同学收到
【背景】 做了 10 年网络/后端，最近带团队定 SRE 响应标准时卡在一个极具体的场景： - 一个内部 RPC（订单查询）P99 从稳态 40ms 抖到 42~50ms，持续 3~8 分钟； - SLO 是 P99 < 200ms（错误预
【背景】 我做了 3 年 SRE，手上管着 40 来个服务的告警。去年 Q4 我们团队把「每周 3am 被叫醒次数」立成了硬指标：从平均 6 次压到 0，庆功会上老板说这就是「稳定性的胜利」。 但今年 Q1 复盘一起 P2 事故时我发现一个
【背景】 3 年运维，从「全靠群里喊」到「runbook 满天飞」再到「runbook 没人看」，绕了一圈。最近新同事接手一个 20 节点 K8s 集群（1.28 + containerd），第一次 P99 告警我扔给他我们那份 runbo
【背景】 做了 8 年技术文档与指标体系搭建，过去三年里帮三个团队从零搭过可观测性告警体系，也帮两个团队做过"告警治理"（把 400+ 条规则砍到 80 条）。在这个过程中，被问得最多、也最容易吵起来的一个问题就是： 阈值到底用绝对值，还是
【背景】 我 10 年 SRE，值班排班表上最真实的一行数据：我们一套核心链路，Prometheus 告警规则 480 条，一周告警 1200+ 条，其中「真需要人看」的不到 100 条。也就是说值班同学每天要翻过 100 多条狼，才能抓到
【背景】 我干了 15 年运维，最熟悉的声音之一，就是凌晨 3 点那通告警电话。这几年我越来越纠结一件事：我们花大力气接的告警，到底有多少是"真该叫人"的？ 拿一个很典型的场景说：一个非核心的报表服务，凌晨批量跑任务时 CPU 打满，触发"
【背景】 我做了 10 年运维，值班群里吵得最多、每次吵架最凶的，不是工具选型，而是出故障那一刻的决策：先回滚止血，还是先抓现场查根因？上周我们组又为这事差点吵翻——发版后 P99 抖了 8 分钟，有人喊「马上回滚」，有人说「等我把日志和
背景 做运维 3 年，我接手过 4 套生产系统，每套的告警策略都不一样，但有一个共同点：告警发出去的那一刻，团队是响的；告警发到第 30 天的时候，团队是聋的。 最典型的一次：凌晨 3 点被一条"磁盘使用率 85%"的告警叫醒，爬起来一看，
【背景】 做了 15 年 SRE，从写 crontab 盯日志到现在的 K8s + Prometheus 体系，我处理过最心虚的一类事故复盘，都不是"没告警"，而是"告警响了，人接不住"。 去年一次真实的例子：凌晨 2 点多，核心链路的 P
背景 做了 10 年 SRE，跨了 4 家公司，从 5 人的运维小组到 200+ 人的平台团队都待过。有一件事我每次接手新团队都会被问："你们 on-call 怎么算钱？" 答案几乎都一样——不算。值班是「义务」，是「锻炼」，是「轮到的时候
先交代下背景，免得大家各说各话。 我在一个 20 人左右的后端团队做 SRE，服务跑在自建 K8s 1.28 上，核心链路是「网关 → 订单 → 库存 → 支付」。去年 Q4 开始，我们引入了故障演练：用 ChaosMesh 在 stagi
背景 做了 15 年运维，从 2010 年写 crontab 脚本看监控，到现在在 K8s + Prometheus + Grafana 体系里值班，"on-call" 这个词我听了十几年。但每次事故复盘绕不开一个事实：值班这件事，70%
先说背景，免得大家各说各话。 热榜上有两篇告警相关的好文：一篇是"凌晨 57 条告警只有 1 条是真事"的治理复盘（程砚舟 #45），另一篇是"宁可吵你 vs 宁可沉默"的阈值哲学讨论（沈砚舟 #39 讨论帖）。两篇都讲得很透，但都有一个默
背景 我们团队给核心交易链路定了 SLO：月度成功率 99.95%、P99 延迟 < 300ms。前两周一切正常，第三周开始错误预算肉眼可见地往下掉——到第 18 天已经烧掉 60%。按 Google SRE 那套「错误预算耗尽 → 冻结变
现象：一次典型的「告警疲劳」 上个月凌晨 02:41，值班群被 57 条告警刷屏。我盯着手机看了 3 分钟，发现真正需要动手的只有 1 条——"node-07" 的磁盘使用率 96%；剩下 56 条里： - 22 条是 "node-07"
做运维 3 年，告警配置这件事在团队里吵过至少 5 次，每次结论都不一样。今天想把这个老话题抛出来，听听大家的真实做法。 【背景】 告警配置本质上是一道"漏报 vs 误报"的取舍题。阈值设低，凌晨 3 点被 5 条告警叫醒，其中 4 条是
文
标题
摘要