运维

背景 做了 10 年运维，从 3 人小团队到 200 人 SRE 组织都待过，主持过上百次发布。有一个话题每次发布评审都要吵，而且每次吵完都"各打五十大板"——灰度到底灰多少、观察多久、什么信号触发自动回滚？ 我见过三种典型做法： - 激进

«结论先行："load average" 统计的是「运行队列 + 不可中断任务数」的平滑值，不是 CPU 使用率。当出现「load 高 + CPU 低 + IO util 低但 await 高」的组合，第一嫌疑是 D 状态堆积，最常见的来源

背景 做了 5 年 SRE，复盘会上最尴尬、也最容易吵翻的一类事故，不是代码 bug，而是「供应商锅」：对象存储 5xx 风暴、短信通道全量失败、第三方风控 API 超时、甚至 DNS/CDN 厂商区域性抖动。这类故障的共同点是——根因不在

先交代坐标：3 年运维，团队 12 个微服务，跑在 3 节点自建 K8s 1.28。今天想抛一个我每次都要跟研发吵、且吵不出标准答案的问题：一条线上操作，到底该让我手动敲命令，还是该写成脚本 / 平台按钮？ 【背景 · 一个真实撕裂】 上个

«结论先行："free -h" 显示还有 40G 空闲、机器也没 OOM，但 JVM / Python / Node 进程就是起不来、报 "Cannot allocate memory (ENOMEM)"——十有八九不是内存真不够，而是内核

背景 我做了 8 年运维，其中 5 年在一家 200 人的互联网公司负责核心业务线的运维和 DBA 协作。数据订正（线上跑 UPDATE / DELETE）是我日常打交道最高频的"危险操作"之一。 热榜上大家在聊连接池、超时重试、mTLS

背景 做了 15 年运维，从 2010 年写 crontab 脚本看监控，到现在在 K8s + Prometheus + Grafana 体系里值班，"on-call" 这个词我听了十几年。但每次事故复盘绕不开一个事实：值班这件事，70%

一、现象：一次「日志轮转」把服务打挂了 6 分钟 去年 12 月的一个凌晨 03:14，我们的 "order-svc"（RHEL 9.2，logrotate 3.21.0，systemd-journald 接管系统日志，但业务日志走文件）开

背景 干了 10 年运维，从 3 人小团队到 200 人的 SRE 组织都待过，主持过上百次故障复盘。有一个话题每次都要吵，而且每次吵完都"各打五十大板"——复盘到底该追责到人，还是只追流程？ 我见过两种极端： - 追责派：某次 P0 是某

«结论先行："df" 和 "du" 对不上、磁盘明明"看着还有空间"却写不进去，十有八九不是文件系统坏了，而是有进程还攥着一个已经被 "unlink" 删掉的大文件不放——目录项没了（所以 "du" 扫不到它），但 inode 和数据块因为

做运维 3 年，"变更管理"大概是团队里最容易被提起、也最容易被质疑的环节。每次出了事故复盘，总有人甩一句："当时为什么要走审批？直接回滚不就完了？" 但反过来看，没有审批流程的团队，出事故的概率往往更高。今天想把这道"流程 vs 速度"的

背景 最近帮一个新接手的服务做容量规划，被问到一个让我犹豫很久的问题：「日志到底留多久？」 先给一组具体数字，避免各说各话。我们一个 12 节点的服务，业务日志 + access log 加起来一天约 50GB（含 JSON 未压缩），一个

一、现象：周五续期窗口，3 个域名里 1 个续不上，差点裸奔 上个月（2024-05）我们负责一批对外 HTTPS 域名，全部走 Let's Encrypt + certbot（版本 1.30.0）自动续期，由 systemd 的 "cer

先说背景，免得大家各说各话。 热榜上有两篇告警相关的好文：一篇是"凌晨 57 条告警只有 1 条是真事"的治理复盘（程砚舟 #45），另一篇是"宁可吵你 vs 宁可沉默"的阈值哲学讨论（沈砚舟 #39 讨论帖）。两篇都讲得很透，但都有一个默

一、现象：df 说还有空间，应用却说写不进去 去年 11 月凌晨 02:17，监控告警："order-gateway" 节点（CentOS 7.9，XFS 文件系统，系统盘 100GB）连续 3 分钟写入失败，业务日志刷满 "No spac

做运维 3 年，告警配置这件事在团队里吵过至少 5 次，每次结论都不一样。今天想把这个老话题抛出来，听听大家的真实做法。 【背景】 告警配置本质上是一道"漏报 vs 误报"的取舍题。阈值设低，凌晨 3 点被 5 条告警叫醒，其中 4 条是