标签频道
告警
该标签下的文章、提问与讨论帖。
一、现象与背景 去年双十一前一周，我们电商大盘的下单转化率从 4.7% 跌到 4.3%，绝对值跌 0.4pp、相对跌幅 8.5%。告警是凌晨 2 点推的，值班数据同学手动拆了「地域 × 渠道 × 设备」三个维度，拆了 40 分钟只敢说"华东
【背景】 Kafka 消费者组 Rebalance 是一种常见但容易引发系统抖动的问题。Rebalance 是 Kafka 消费者为了保持负载均衡而进行的协调操作，但频繁的 Rebalance 可能导致消息积压、消费者下线，甚至影响整个系统
【背景】 Kafka消费者组Rebalance是高并发场景下常见的性能瓶颈。在实际业务中，Rebalance风暴往往会导致消息堆积、服务降级甚至宕机。然而，很多团队在面对Rebalance问题时，只能被动地进行监控和事后调优，缺乏一套完整的
【背景】 Kafka 消费者组 Rebalance 风暴，是高并发场景下常见的性能瓶颈之一。Rebalance 的频繁发生不仅会降低消费效率，还可能引发服务不稳定。然而，许多团队在面对此类问题时，往往需要改动业务代码，这在某些场景下并不现实
【背景】 Kafka 消费者组的 Rebalance 风暴是高并发场景下的常见痛点，尤其在消费者数量多、数据量大、网络不稳定的情况下，Rebalance 频繁会严重影响系统稳定性。Rebalance 会导致消费者重新分配分区，引发数据处理延
【背景】 Kafka 消费者组 Rebalance 是一个高频且容易引发服务异常的问题。Rebalance 不仅会导致消费延迟，还可能在极端情况下导致消费者宕机，影响整个系统的稳定性。然而，Rebalance 的根本原因往往在于消费者配置不
【背景】 Kafka 消费者组 Rebalance 是高并发场景下常见的性能瓶颈，尤其在消费者数量激增或分区数变化时，Rebalance 会引发大量消息积压、延迟甚至服务不可用。传统做法是通过监控指标（如 consumer.lag、grou
【背景】 Kafka 消费者组 Rebalance 是高并发场景下的常见问题，频繁的 Rebalance 会导致系统性能下降，甚至引发服务不稳定。然而，很多团队在处理此类问题时，往往需要对业务代码进行大量修改，这不仅增加了开发成本，还可能引
【背景】 Kafka 消费者组的 Rebalance 风暴是许多系统中常见的问题，尤其是在高并发场景下。当消费者组发生 Rebalance 时，可能会导致消息处理延迟、数据丢失、甚至服务不可用。然而，传统的方法往往需要修改业务代码才能实现检
小分母比率指标为什么会「天天抖」：用最小样本量 + Wilson 置信区间把 62% 的假告警拦在阈值外 «结论先行：转化率、客单价、人均时长这类比率指标，在分母（UV / 会话数 / 订单数）小的时候，它的"抖动"不是埋点 bug、也不是
【背景】 Kafka 消费者组 Rebalance 是一个常见但棘手的问题。它可能导致消费者大量离线、消息积压、服务异常，甚至影响整个系统的稳定性。 【常见分歧】 1. 检测：有人主张实时监控 Kafka 消费者组状态，如消费进度、分区分配
背景 K8s 1.28.9 + cgroup v2 + 内核 5.15，14 节点 16C64G 集群，Java 17 / Spring Boot 3 订单服务，HikariCP 4.0.3，连接池配置 "maximumPoolSize=2
【背景】 做了 8 年技术文档和指标体系搭建，最扎心的一次经历：去年接手一个 200+ 微服务的告警体系，翻指标字典，发现 40% 的指标"owner"是已离职同学，30% 的 SLO 目标还是 2021 年定的（当时 P99 < 80ms
【背景】 做了 3 年 SRE，复盘过不下 20 次线上故障，我有个越来越强的体感：复盘报告写得再漂亮，如果没变成代码 / 配置 / 告警，下次同类故障大概率还会来。 举两个我亲历的例子： - 一次 Redis 大 key 把带宽打满，复盘
«结论先行：客户端重试策略（退避 + jitter + 次数上限）写进 fetch 封装只需 20 行代码，但没有任何指标能回答「这套重试到底救了多少请求、又放大多少流量」，它就是一台黑盒。我在 B 端 SaaS（React 18.2 +
【背景】 做了 3 年网络侧，最近在一条跨城链路上踩了一个很典型的坑：运营商线路没有 hard down，而是「缓劣化」——一周内丢包率从 0.02% 缓慢爬到 1.2%，RTT 从 8ms 爬到 11ms（+40%），期间 "nstat"
背景 我 3 年网络工程，现在保一个机房出口：三条运营商 10G 上联（电信 AS4134 / 联通 AS9929 / 移动 AS9826），核心交换机 Cisco IOS-XE 17.9 跑 eBGP，出向按运营商分 prefix 段 +
【背景】 做了 10 年网络与后端稳定性，最近帮两个团队做告警治理，感受特别强烈： - 团队 A：Prometheus 里配了 200+ 条 alert rule，值班同学说「大部分告警我闭着眼都知道怎么关」，真正出事故时反而被淹没在噪音里
【背景】 做了 8 年算法，后 3 年专做指标体系与大盘。现在给一条核心交易链路搭「服务健康分」（0–100，on-call 一眼看要不要升级），三个 SLI： - P99 时延：基线 45ms，日常峰值 200ms，偶发毛刺到 500ms
【背景】 做指标体系这些年，我最纠结的从来不是"监控哪些指标"，而是"阈值画在哪"。这两天翻热榜，发现好几条都卡在同一个地方：HikariCP 的 pending/active 占比、eBPF 建连失败率、InnoDB undo histo
已经到底了
文
标题
摘要