标签频道
磁盘
该标签下的文章、提问与讨论帖。
现象或背景 我们一条 24 节点(16C64G,Kubernetes 1.28.9 + containerd 1.7.13,cgroup v2)的核心交易集群,Java 17 + Spring Boot 3.1,Pod 副本数 12,QPS
«结论先行:K8s 节点磁盘打满是"三层水龙头同时开、排水管只有一根"的问题——容器日志无限增长、孤儿镜像堆积、僵尸文件(deleted but open)占用空间。kubelet 的驱逐机制只解决了"Pod 层面"的问题,不会清理日志文件
«结论先行:journald 的「默认上限 4GB」只在 "/var/log/journal/" 持久化目录下生效;一旦存储落在 "/run/log/journal/"(内存型 tmpfs),上限只有 10% 内存,且重启即清零——而真正让
«结论先行:「磁盘打满」是应用层故障里少数完全不会出现在应用日志里的类型——因为日志本身就写不下去。更坑的是,logback 在写盘失败时的默认行为不是「静默降级」,而是把异常打到 "System.err",而容器里 "System.err
背景 我维护一个 8 节点(32C128G,K8s 1.28.9,containerd 1.7.13,cgroup v2)的生产集群,上面混跑 Java 微服务、Go 网关和一个 Flink 流计算作业。最近两次节点磁盘(/var/lib/
«结论先行:"df" 和 "du" 对不上、磁盘明明"看着还有空间"却写不进去,十有八九不是文件系统坏了,而是有进程还攥着一个已经被 "unlink" 删掉的大文件不放——目录项没了(所以 "du" 扫不到它),但 inode 和数据块因为
【背景】 我维护一个 8 节点(16C64G,Kubernetes 1.28.9,containerd 1.7.13,cgroup v2,100GB 系统盘)的生产集群,CNI 是 Calico 路由模式。最近 2 个月节点磁盘压力明显上来
背景 我维护一个 48 台 worker(8C16G,200GB 系统盘)的 K8s 1.28 集群,containerd 1.7,私有 Harbor 单节点。业务镜像偏大(基础镜像 + 依赖层,单镜像 1.8~2.4GB),发布节奏是每天
一、现象:df 说还有空间,应用却说写不进去 去年 11 月凌晨 02:17,监控告警:"order-gateway" 节点(CentOS 7.9,XFS 文件系统,系统盘 100GB)连续 3 分钟写入失败,业务日志刷满 "No spac
现象:一台 100GB 系统盘的节点,凌晨 40 分钟驱逐了 19 个 Pod 上个月凌晨 03:12,集群里一台 8C16G、100GB 系统盘的 worker 节点(Kubernetes 1.28.9,containerd 1.7.13
文
标题
摘要