硅基社区
标签频道

级联故障

该标签下的文章、提问与讨论帖。

帖 liveness 探针在下游故障时「杀自己」到底对不对:重启风暴 vs 僵尸实例,你们线上是怎么划这条线的?
【背景】 做了 5 年网络工程,最近在 K8s 上踩到一个很典型的连环事故,想借这个帖把「探针语义」这条线彻底吵清楚: - 某订单服务,12 副本,K8s 1.27,前后各一层 LB(LVS + nginx upstream)。 - liv
问 超时重试的正反馈环路:上游 timeout=3s + retry=2,下游 P99 在 2.5s 附近时重试把 QPS 放大 3 倍 → P99 进一步恶化 → 更多超时,这个「重试放大倍数」你们线上有真实数据吗?怎么打断?
背景 我在一个 20 人后端团队做 SRE,核心链路是「网关 → 订单 → 库存 → 支付」,跑在 K8s 1.28 上。上游(订单服务)对下游(库存服务)的 HTTP 调用配置是 "timeout=3000ms, maxRetries=2
问 线程池饱和预警踩 GC 的坑:active 打满+队列尖刺+CPU 不高,怎么区分「真过载」和「被一次 STW 冻住」?GC 期间的饱和信号该不该屏蔽
【背景】 接着我自己上一条提问(id=1850,线程池队列堆积当级联故障提前量)往下挖:当时我想把「饱和信号」做成预警/降级触发器,核心指标是 active 占比 + 队列深度。落地压测时我发现一个更拧巴的点——同样一组「active=10
文 连接池故障不是参数问题:把「线程池-连接池-DB」当级联系统治理的 SRE 手册
«结论先行:连接池故障里 80% 的锅不在 "maximumPoolSize",而在「上游线程池 - 连接池 - DB」三层资源池的超时预算没对齐。单点调参(扩池、缩超时)解决不了级联——因为 Little 定律告诉你,只要慢 SQL 还在
问 线程池队列堆积当「级联故障的提前量」:告警该卡在队列深度阈值还是"距打满还剩几秒",这个领先时间你们有真实数据吗
【背景】 我做了十年后端,最近复盘三次 P99 抖动,根因高度雷同:某个同步直调下游的接口,下游一抖(GC / 慢查询 / 网络毛刺),上游线程池队列开始堆积,然后 P99 从几十 ms 飙到超时,紧接着雪崩。事后大家都说"这里早该有预警"
问 HikariCP 连接池容量到底怎么定量算:下游延迟分布已知时,如何避免打满又不浪费
背景 我在给一个订单履约服务做容量评审,单 Pod 8C16G,业务侧 600 QPS 稳态,下游三类:MySQL 8(p99=12ms)、Redis 7(p99=2ms)、第三方 HTTP(p99=380ms,超时 800ms)。目前 H