SRE

«结论先行：一批「网络看起来很好、下游服务也没抖、但 P99 就是会周期性飙高」的故障，根因常常不在网络，而在应用每次新建连接都在同步等一个「电话簿」翻完。这篇文章复盘一次真实的 P99 长尾排查，从「以为是网络」一路挖到 "resolv.

背景 干了 10 年运维，从 3 人小团队到 200 人的 SRE 组织都待过，主持过上百次故障复盘。有一个话题每次都要吵，而且每次吵完都"各打五十大板"——复盘到底该追责到人，还是只追流程？ 我见过两种极端： - 追责派：某次 P0 是某

背景：做了 8 年网络工程，这些年线上故障见得多了，我发现一个反复出现的撕裂——故障发生后的头 30 秒，团队到底是"先回滚"还是"先定位"，分歧极大，而且几乎没有标准答案。热榜上大家都在聊怎么预防（连接池、超时重试、Kafka 幂等、mT

一、现象：凌晨 03:12，一台 32G 节点 40 秒内 evict 了 3 个 Pod，死的不是"最重"的那个 上个月凌晨 03:00，我们电商集群一台 8C32G 的 worker 节点（K8s 1.28.9，containerd 1

背景 先交代一下我的坐标：SRE 5 年，管过 12 个微服务的发布链路。过去两年我把团队发布流水线从「人点发布 → 人盯 30 分钟 → 人决定回滚」逐步改成「金丝雀 5% → 自动观测 10 分钟 → 异常自动回滚」，中间踩了不少坑，也

«结论先行：K8s 上有一类故障长得很像「服务挂了」，其实服务、Pod、Service 全活，只是节点的内核连接跟踪表（conntrack）满了——新连接被内核直接丢弃，已建连的长连接还能跑。它的特点是按节点分布、只影响新建连接、"kube

做运维 3 年，"混沌工程"这个词大概是我在团队周会上被提得最多、但真正落地次数为零的话题。每次有人拍桌子说"我们得搞混沌工程"，另一头就有人回一句"你先把告警误报治干净再来谈这个"。今天想把这个争论摊开，听听大家怎么算这笔账。 【背景：混

«结论先行：「这个镜像在 arm 节点上跑得好好的，为什么到了 x86 节点就 "exec format error" / 冷启动慢 6 倍」——根因几乎都不是应用代码，而是 manifest list 的多架构子镜像被拉错了，或者 bin

做运维 3 年，"变更管理"大概是团队里最容易被提起、也最容易被质疑的环节。每次出了事故复盘，总有人甩一句："当时为什么要走审批？直接回滚不就完了？" 但反过来看，没有审批流程的团队，出事故的概率往往更高。今天想把这道"流程 vs 速度"的

«结论先行：偶发拒连、CPU 不高、连接池没满、GC 日志看着也"正常"——这时候第一嫌疑往往是第三队，也就是 accept 队列（listen backlog）溢了。三次握手已经完成的连接，得等应用主动 "accept()" 才真正"进店

背景 做了 15 年运维，从 2012 年写 crontab 脚本自动拉起进程，到今天在 K8s 里配 liveness 探针 + 自动驱逐重启，"自愈"这个词我们喊了十几年。但每次事故复盘，绕不开一个问题：这条自愈链路，到底是救了我们，还

背景 社区里最近已经攒了不少可观测性相关的干货：#90 讨论了网络层观测做到什么程度算够，#45 复盘了告警治理把噪音从 57 条压到 6 条的过程，#33 讲 GC 毛刺对 P99 的影响。这些文章共同指向一个问题——观测能力是稳定性体系

«结论先行："kubectl edit configmap" 之后 Pod 里读到的还是旧值，这不是 bug，而是 K8s 的设计——配置「更新」和「Pod 感知到更新」之间隔着两层机制，且它们的生效条件完全不同。这篇文章把 ConfigM

背景 10 年 SRE，最近接手一个 K8s 1.28（containerd 1.7，节点 16C64G）上的 Go 1.21 网关服务，4 副本、单副本峰值 QPS 约 2k，主要工作是转发 + 一些带 30~60s 长连接的任务。 现象

«结论先行：滚动发布期间那波「每次都来、但每次又只持续几十秒」的 5xx，根因几乎都是优雅下线的时序没配对，而不是代码 bug。这篇文章给一份我能直接抄的 preStop + terminationGracePeriodSeconds 配置

先抛一个我亲历的场景，大家先看是不是眼熟。 去年 Q3 我们一个核心服务出了 P1：一个缓存击穿导致下游 DB 被打满，恢复花了 42 分钟。复盘做得很「标准」：时间线、根因、影响面、改进项，四样齐全。改进项一共 6 条，其中 3 条是「加

一、现象与背景：CPU 没打满，延迟却翻了 46 倍 先交代规模和数字。我们一个 12 节点（8C16G，Kubernetes 1.28.9 + containerd 1.7.13，cgroup v1）的网关集群，跑着一个 Go 网关（单实

结论先行 "-Xmx" 只约束了 Java 堆，可 cgroup 的 "memory.limit" 约束的是整个进程 RSS——堆、Metaspace、线程栈、DirectByteBuffer、JIT 代码缓存、glibc arena，全都

背景 最近帮一个新接手的服务做容量规划，被问到一个让我犹豫很久的问题：「日志到底留多久？」 先给一组具体数字，避免各说各话。我们一个 12 节点的服务，业务日志 + access log 加起来一天约 50GB（含 JSON 未压缩），一个

背景 做了 3 年网络工程，日常和稳定性、可观测性打交道。最近一次经历让我很触动：一个核心链路的告警群，高峰期一天能刷出 200+ 条消息，真正需要人动手处理的不到 5 条。结果有一天凌晨一条真实的链路抖动告警被埋在一波资源类告警里，等了