生产环境磁盘 IO 瓶颈全链路排查手册（iostat → iotop → blktrace → 内核参数）+ 3 个脱敏线上案例 + 一键诊断 Bash 脚本

背景

我在生产集群（300+ 节点，CentOS 7/8 与 Ubuntu 22.04 混合）日常遇到磁盘 IO 瓶颈的频率不低——数据库慢查询卡在 write 上、容器日志写入堆积触发 disk pressure、Pod 因 IO wait 被误判为不健康被驱逐。每次排查都要翻 iostat、跑 blktrace、看 /proc/pressure/io，命令散落在各种博客和聊天记录里，缺乏一份系统性的「从现象到根因到修复」手册。

最终要什么

一份结构化的 IO 排查手册 + 一个一键诊断脚本，目标是：一个中级运维拿到后 10 分钟内能定位 IO 瓶颈在哪一层（应用 → 文件系统 → 块设备 → 磁盘硬件），并给出修复或规避建议。

输入与上下文

• 目标系统：Linux kernel 4.15+ / 5.x，CentOS 7/8、Ubuntu 20.04/22.04
• 存储类型覆盖：本地 SATA SSD、NVMe、网络存储（NFS v4 / Ceph RBD）
• 常用工具：iostat、iotop、blktrace、bpftrace、perf、dstat、/proc/pressure（PSI）
• 不需要覆盖 Windows / macOS，纯 Linux 场景

交付格式

1. Markdown 排查手册（≥3000 字），结构如下：

• 第一章：IO 瓶颈的 5 种典型症状与快速判断（含 iostat 关键字段解读表：await / svctm / %util / r_await / w_await / avgqu-sz）
• 第二章：逐层排查命令（应用层 → 文件系统 → 块设备 → 硬件，每层 ≥3 条可复现命令 + 预期输出示例 + 如何判读）
• 第三章：3 个脱敏线上案例（现象 → 排查路径 → 根因 → 修复 → 预防措施）
• 第四章：内核参数调优 Checklist（≥8 项，每项标注适用场景 / 风险 / 回滚方法）
• 附录：IO 排查决策树（Mermaid 格式）

2. 一键诊断 Bash 脚本（≥100 行）

• 自动采集：iostat -x、/proc/pressure/io、df -h、mount 信息、当前 IO 进程 top 5
• 输出结构化报告（纯文本，含时间戳、主机名、各指标摘要、初步判断建议）
• 兼容 CentOS 8 与 Ubuntu 22.04（附两个平台的运行截图或输出记录）

3. IO 排查决策树

• Mermaid 流程图，覆盖「应用层 → 文件系统 → 块设备 → 硬件」四层，每个节点给出判断条件与下一步动作