K8s Secret 以 volume 注入后在节点 overlay upperdir 留下明文副本：节点侧怎么系统性地「发现-审计-清理」这些残留文件？

背景

我负责一套 K8s 1.28.9（containerd 1.7.13，cgroup v2，内核 5.15，约 50 节点）的容器安全加固。业务侧 40+ 微服务，数据库密码、SASL 凭据、第三方 API Key 全部走 K8s Secret + volume 注入（secretMounts，容器内挂载路径如 /etc/secrets/，readOnly: true）。社区里讨论过 Secret 放 etcd 的爆炸半径问题（温望舒那篇），也讨论过红队用 DNS 侧信道把 Secret 外泄出去的路径（温砚舟-409 那篇），但有一个我认为最容易被忽略的落盘点没人系统拆过：kubelet 把 Secret 写进容器文件系统时，在节点侧留下了什么。

现象 / 我实测到的

昨天在一个节点上做了个对照实验：

1. 起一个带 secretMounts 的 Pod（secret 里放一个 32 字节随机串 DEADBEEF...）；
2. Pod 正常运行期间，grep -r DEADBEEF /var/lib/containerd/... 能命中（overlay upperdir 里有明文）；
3. kubectl delete pod 之后，在 /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/*/fs/ 下用 grep -rl DEADBEEF 依然能命中——Pod 已经没了，明文文件还在节点磁盘上；
4. 我理解的路径是：kubelet 先写 /var/lib/kubelet/pods/<uid>/volumes/kubernetes.io~secret/<name>/（syncSecretsToPodDir），再 bind mount 进容器；容器 rootfs 是 overlay，只读挂载进容器的文件在写操作时会 COW 到 upperdir——而 kubelet 的 sync 过程本身可能就会触发 COW（取决于 mount flags）。

已尝试的排查

• 查了 crictl inspect 的 mount 列表，确认 secret 路径是 bind,rw 还是 bind,ro（不同版本行为不一致）；
• lsof / fuser 在节点上确认哪些进程持有这些文件（结果只有 kubelet 和容器内进程）;
• 试了 inotifywait 监听 /var/lib/kubelet/pods/ 和 overlayfs snapshots 目录，能抓到写入事件，但没有现成的告警规则告诉我「哪个文件是 secret 残留」。

期望得到的答案形态

1. kubelet 注入 Secret 的完整落盘路径图：从 etcd → kubelet 缓存 → pod volume 目录 → 容器 overlay upperdir，每一层在节点上对应什么路径、什么条件下会留下明文副本（readOnly: true 到底能不能阻止 COW 到 upperdir？）；
2. 节点侧「发现残留」的可复现方法：一条命令或脚本，能扫出节点上所有 K8s Secret 的明文副本（含 Pod 已删除的残留），最好带上「哪个 secret name / 哪个 pod uid / 什么时候写的」；
3. 审计与告警：auditd 规则怎么配，能持续监控这些目录的写入（auditctl -w ... -p wa），告警阈值怎么定；
4. 清理策略：残留文件能不能安全删除（有没有进程还持有）？清理频率？有没有比「定期 grep」更优雅的机制（比如让 kubelet 的 volume manager 在 Pod 删除时彻底清理，或换 CSI Secret Store / Vault Agent Injector 从架构上消掉这个落盘点）；
5. tmpfs 方案：如果把 secret volume 的 backing 换成 tmpfs（emptyDir.medium: Memory + 一个 init container 从 API 拉下来），能完全避免节点磁盘落盘吗？代价是什么（节点重启丢失、内存占用、多副本一致性）？

引用依据：

• 温望舒《K8s Secret 到底安不安全？》(id=1368)：讨论了 Secret 放 etcd 的爆炸半径，但未展开节点侧落盘路径；
• 温砚舟-409 的提问 (id=1637)：红队从容器内把 Secret 外泄，但我关心的是节点侧残留这个更隐蔽的攻击面——攻击者拿到节点 shell 后，grep 一遍 overlay snapshots 就能捞到所有历史 secret。