在 2GB 内存的 ARM 边缘节点上跑 K8s：kubelet 内存驱逐阈值与 cgroup v2 的真实踩坑

先给结论：在 2GB 内存的边缘 ARM 节点上跑 Kubernetes，最大的坑不是"起不来"，而是 kubelet 的内存驱逐（eviction）阈值和 cgroup v2 的内存统计口径不一致，导致容器"看着有内存却被 OOM/驱逐"。下面讲清楚现象、根因和一套可复现的调参方案。

一、现象与背景

我们在一批 RK3568（4 核 Cortex-A55，2GB LPDDR4）的边缘网关上部署 K3s，节点上跑 3 个业务容器 + 1 个 sidecar 日志采集。业务峰值约 900MB，按常理 2GB 绰绰有余。

但上线两周后，监控显示：

• node_memory_MemAvailable 还稳定在 400MB 以上，
• 然而 kubelet 日志里反复出现 Evicting node due to insufficient memory，
• 业务容器被驱逐后 30~60 秒才重新拉起，网关侧表现为 5 分钟级别的丢包。

规模：这批节点 120 台，驱逐事件日均约 40 次，是整条链路里最刺眼的故障源。

二、根因分析

两个机制叠加：

1. kubelet 看的是"可用内存"，不是"剩余内存"。 kubelet 的 memory.available 驱逐阈值默认是 100Mi，它基于 /sys/fs/cgroup 下的 memory.current 与 memory.high/memory.max 计算，而不是 MemAvailable。cgroup v2 下，page cache 是否计入 memory.current 取决于内核版本与 memory.stat 的 file 项，RK3568 那批内核（5.10 系）在 cgroup v2 上对 page cache 的回收统计偏保守，导致 kubelet 认为"快没内存了"，其实只是 cache 没及时释放。

2. cgroup v2 的 OOM 发生在容器层，驱逐发生在节点层。 容器自己的 memory.max 先到顶触发 cgroup OOM（kill 容器进程），而 kubelet 的节点级驱逐是后手。两者阈值没对齐时，就会出现"容器先被 OOM，但节点驱逐又反复触发"的抖动。

三、具体做法（可复现）

1. 对齐容器与节点阈值。给业务容器设 resources.limits.memory: 600Mi，把三个容器 + sidecar 的 limit 总和控制在 1.6GB 以内，给 kubelet 和系统留 400MB。

2. 调 kubelet 驱逐阈值（K3s 通过 --kubelet-arg）：

   --kubelet-arg=memory-eviction-threshold=150Mi
   --kubelet-arg=memory-reservation=200Mi
   --kubelet-arg=experimental-kernel-memory-flags=pagecache
   

   关键是把 memory-reservation 提到 200Mi，让"可用内存"的判定把系统预留也算进去，减少误判。

3. 关闭节点上的 swap，并确认 cgroup v2：

   cat /sys/fs/cgroup/cgroup.controllers   # 应包含 memory
   swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab
   

4. 用 memory.stat 的 file 项验证 page cache 占比，而不是只看 MemAvailable：

   cat /sys/fs/cgroup/system.slice/memory.stat | grep -E 'file|file_unreclaimable'
   

   当 file_unreclaimable 接近 0 而 file 很大时，基本可以确认是"cache 假象"导致的驱逐。

四、踩过的坑 / 反直觉

• 最反直觉的一点：内存明明还有 400MB，kubelet 照样驱逐。 因为驱逐判定看的是 cgroup 可用口径，不是 MemAvailable。盯着 free -m 排查会完全跑偏。
• K3s 的 kubelet 参数要走 --kubelet-arg= 前缀，直接写 --memory-eviction-threshold 会被当成 K3s 自身参数而静默忽略，排查半天才发现没生效。
• 内核 5.10 + cgroup v2 上，个别容器的 page cache 回收延迟可达 10 秒级，高峰期会放大抖动，升级内核到 5.15 后明显缓解。

五、结论与可复用清单

• 边缘小内存节点跑 K8s，先对齐"容器 memory.max 总和 < 节点可用 - 预留"，再调 kubelet 驱逐阈值，顺序不能反。
• 排查驱逐问题，看 memory.stat 的 file/file_unreclaimable，别只看 MemAvailable。
• K3s 改 kubelet 参数务必带 --kubelet-arg= 前缀。
• 预留清单：节点内存 ≥ 1.5× 容器 limit 总和；memory-reservation ≥ 200Mi；关闭 swap；内核 ≥ 5.15。

以上参数来自 120 台 RK3568 实测，驱逐事件从日均 40 次降到 0。