先给结论:「冷启动型使用」的判定,靠运行期采样是死路,正解是「内核态常驻探针 + 事件过滤 + 滚动窗口累积」——不重启 Pod、不侵入业务代码,利用 BPF 在 vfs_open 路径上做 in-kernel 过滤(只放行目标 inode 的事件),开销 <0.01% CPU,然后在 Pod 自然重启窗口(升级 / 节点驱逐 / OOM 后重建)里逐步补齐冷启动事件,7~14 天即可收敛出完整「使用面」。下面给可落地的方案。
一、核心思路:为什么「常驻探针 + 自然重启窗口」比「一次性大采样」强
你试过 24h 全量 open 事件(~10^7 条)扛不住,根因是没做 in-kernel 过滤——BPF 程序把每条 vfs_open 都送到用户态了。正确做法是:
- BPF 程序里直接比较
inode+device,只放行匹配的事件(你的 30 个 Secret 文件对应的 inode 集合); - 不匹配的事件在内核态就丢弃,用户态每秒收到的事件量 ≈ 0(只有 Pod 启动那一瞬间的 open 才命中);
- 这样 24h / 7 天 / 30 天都可以跑,CPU 开销是「每次 system call 多一条 inode 比较」,对 40 台节点可忽略。
关键:探针是常驻的,不是临时采的。 你不需要「重启 Pod 来抓冷启动」——你只需要等 Pod 自然重启(滚动升级、节点维护、OOM 重建),探针在那一瞬间就抓到了。
二、eBPF 探针实现(BCC 伪代码,生产可换成 BPFGo / libbpf-rs)
#!/usr/bin/env python3
# secret_open_probe.py — 常驻节点 DaemonSet 内运行
from bcc import BPF
import json, time, os, sys
# 目标 inode 集合(启动时从 host 路径 stat 得到)
TARGET_INODES = set()
def load_targets(secret_paths):
for p in secret_paths:
st = os.stat(p)
TARGET_INODES.add((st.st_dev, st.st_ino))
# 写入 BPF map
for dev, ino in TARGET_INODES:
bpf_target_map[dev] = ino # 或用 hash map: (dev,ino) → 1
BPF_TEXT = r"""
#include <uapi/linux/ptrace.h>
#include <linux/fs.h>
// 目标 inode 集合(由用户态填充)
BPF_HASH(target_inodes, u64, u8, 64); // key = (dev << 32) | ino
struct event_t {
u64 ts;
u32 pid;
u32 tgid;
u64 cgroup_id;
u64 inode_key;
char comm[16];
};
BPF_PERF_OUTPUT(events);
int hook_vfs_open(struct pt_regs *ctx, struct path *path, struct file *file) {
// 快速过滤:非目标 inode 直接返回(内核态,零用户态开销)
u64 dev = path->dentry->d_inode->i_sb->s_dev;
u64 ino = path->dentry->d_inode->i_ino;
u64 key = (dev << 32) | ino;
if (!target_inodes.lookup(&key))
return 0; // 不匹配,丢弃
struct event_t e = {};
e.ts = bpf_ktime_get_ns();
e.pid = bpf_get_current_pid_tgid() & 0xFFFFFFFF;
e.tgid = bpf_get_current_pid_tgid() >> 32;
e.cgroup_id = bpf_get_current_cgroup_id();
e.inode_key = key;
bpf_get_current_comm(&e.comm, sizeof(e.comm));
events.perf_submit(ctx, &e, sizeof(e));
return 0;
}
"""
bpf = BPF(text=BPF_TEXT)
bpf.attach_kprobe(event="vfs_open", fn_name="hook_vfs_open")
# 也挂 vfs_openat 覆盖 openat() 调用
bpf.attach_kprobe(event="vfs_openat", fn_name="hook_vfs_open")
def handle_event(cpu, data, size):
e = bpf["events"].event(data)
# 归因:cgroup_id → Pod
pod = cgroup_to_pod(e.cgroup_id)
record = {
"ts": e.ts,
"pod": pod,
"pid": e.pid,
"comm": e.comm.decode(),
"inode_key": e.inode_key,
}
# 写入本地环形缓冲 / 上报 Prometheus / 落 SQLite
append_to_ring(record)
bpf["events"].open_perf_buffer(handle_event)
def cgroup_to_pod(cgroup_id):
"""cgroup v2 id → Pod UID → Pod name(维护一个本地映射表)"""
# /sys/fs/cgroup/kubepods.slice/kubepods-burstable.slice/
# kubepods-burstable-pod{uid}.slice/cri-containerd-{cid}.scope
# 用 cgroup_id 反查(内核 5.8+ 支持 /proc/{pid}/cgroup 拿 cgroup 路径)
# 或维护一个 cgroup_id → pod_uid 的 map(启动时从 /sys/fs/cgroup 枚举)
return pod_name_map.get(cgroup_id, "unknown")
while True:
bpf.perf_buffer__poll(100)
time.sleep(0.1)
部署方式:DaemonSet,hostNetwork=true,privileged=true(需要 attach kprobe),每节点一个 Pod。资源 request 给 10m CPU / 32Mi 内存足够。
三、inode → Pod 归因(你问的核心难点)
K8s 的 Secret 文件在 host 上的路径是:
/var/lib/kubelet/pods/{pod_uid}/volumes/kubernetes.io~secret/{secret_name}/{key}
但同一个 Secret 被多个 Pod 挂载时,host 上的 inode 是同一个(kubelet 对同一个 Secret 只写一份文件,各 Pod 通过 bind mount 看到)。所以 inode 本身不能区分 Pod——必须靠 cgroup 归因。
归因链路:
eBPF 事件里的 cgroup_id
→ /sys/fs/cgroup/.../kubepods-burstable-pod{uid}.slice/...
→ 提取 pod_uid
→ kubectl get pod --field-selector metadata.uid={pod_uid}
→ Pod name / namespace
实操:DaemonSet 启动时枚举 /sys/fs/cgroup/kubepods.slice/ 下所有 kubepods-*-pod*.slice 目录,读每个目录的 cgroup.id(内核 5.8+ 有 cgroup.id 文件),建立 cgroup_id → pod_uid 映射。Pod 创建/删除时通过 inotify 监听 cgroup 目录变化来增量更新。
如果你的内核是 5.15(题目条件),cgroup v2 是默认模式,cgroup.id 文件可用,这条链路完全可行。
四、冷启动覆盖策略(不重启 Pod 的前提下)
这是你最关心的。三种策略组合使用:
策略 A:等自然重启窗口(主策略)
- K8s 滚动升级、节点 drain、OOM 后 Pod 重建,都是自然重启窗口;
- 探针常驻运行,Pod 重启时 open 事件被捕获;
- 30 个微服务,假设平均每月每个 Pod 重启 1~2 次,14 天内大概率覆盖所有 Pod 的冷启动;
- 对于确实 14 天都不重启的 Pod,用策略 B 兜底。
策略 B:atime 推断(辅助验证)
- 内核默认
relatime挂载(ext4 / xfs 默认),文件首次读取后atime更新; - kubelet 创建 Secret 文件时
mtime = ctime = T_create; - 如果应用启动时
open + read了该文件,则atime > mtime; - 如果
atime == mtime(或atime从未变化),说明从未被读取; - 命令:
# 在 host 上
for pod_uid in $(ls /var/lib/kubelet/pods/ | grep -E '^[0-9a-f]{8}-'); do
secret_dir="/var/lib/kubelet/pods/$pod_uid/volumes/kubernetes.io~secret"
if [ -d "$secret_dir" ]; then
find "$secret_dir" -type f -exec stat --format='%n atime=%x mtime=%y' {} \;
fi
done
- 限制:如果节点用了
noatime(高性能场景常见),atime 不更新,此法失效。先mount | grep noatime确认。
策略 C:一次性「受控重启窗口」(最后手段)
- 对于 14 天内始终没自然重启的 Pod,在维护窗口里做滚动重启(
kubectl rollout restart); - 探针在重启前 1 分钟确认已 attach,重启后 5 秒内捕获 open 事件;
- 30 个 Pod 分 3 批,每批 10 个,总停机时间 < 15 分钟;
- 这是侵入性最低的重启方式(比
kubectl delete pod优雅,有 readiness 门禁保护)。
五、清理节奏(判定出僵尸后怎么摘)
原则:先摘 volumeMounts,保留 volumes;观察 7 天;再摘 volumes。
具体步骤:
-
T+0:从目标 Pod 的
spec.containers[].volumeMounts中移除该 Secret 的挂载项(kubectl edit pod不行,改 Deployment/StatefulSet 的 spec);- 效果:容器内
/var/run/secrets/app/xxx路径消失; - 风险:如果应用是「运行期懒加载」型(比如某次请求才去读文件),摘掉后该请求会 500。但冷启动型(启动时读一次)不受影响——因为文件已经在内存里了。
- 安全确认:eBPF 探针 7 天窗口内,该 Pod 的 cgroup 下没有对该 inode 的 open/read 事件 → 可以摘。
- 效果:容器内
-
T+7:确认 7 天无异常(应用日志无 ENOENT / permission denied),从
spec.volumes中移除该 Secret 引用;- 效果:host 上该 Pod 的 bind mount 解除,Secret 文件对 Pod 彻底不可见;
- kubelet 会清理
/var/lib/kubelet/pods/{uid}/volumes/kubernetes.io~secret/{name}/目录。
-
T+14:如果集群内没有任何 Pod 再引用该 Secret 对象(
kubectl get pods -o json | jq确认),可以kubectl delete secret {name}(谨慎,先备份)。
摘的过程中有没有「文件消失」窗口? 有,但极短:
- 摘
volumeMounts→ kubelet 执行 umount → 容器内路径消失,耗时 < 100ms; - 对冷启动型应用无影响(文件内容已在内存);
- 对运行期懒加载型应用有影响(但这类已被 eBPF 排除);
- 对 sidecar 无影响(sidecar 不读业务 Secret)。
六、Vault K8s Agent Injector 最小迁移路径
如果确认要收敛,不要一步到位全迁,按风险分级:
| 优先级 | Secret 类型 | 迁移方式 | 风险 |
|--------|------------|---------|------|
| P0(先做) | 第三方 API Key(Stripe、S3、Slack webhook) | Vault Agent Injector sidecar,路径不变(/vault/secrets/app/xxx),应用代码零改动 | 低:读文件逻辑不变 |
| P1(后做) | DB 密码(MySQL / PG) | Vault Agent Injector + 应用侧 DSN 改读 Vault 路径;或 Vault Database 插件直接发短期凭据 | 中:涉及连接池重建 |
| P2(最后) | mTLS 证书 / ServiceAccount Token | Vault PKI 引擎签发 + CSI Driver 自动轮转 | 高:证书轮转链路长 |
P0 的最小路径:
- 把第三方 API Key 导入 Vault KV v2(
vault kv put secret/thirdparty/stripe key="sk_live_..."); - 在目标 Deployment 加 annotation:
annotations:
vault.hashicorp.com/agent-inject: "true"
vault.hashicorp.com/agent-inject-secret-stripe: "secret/thirdparty/stripe"
vault.hashicorp.com/agent-inject-template-stripe: |
{{- with secret "secret/thirdparty/stripe" -}}
key={{ .Data.data.key }}
{{- end }}
vault.hashicorp.com/role: "app-role"
- 验证 sidecar 起来后
/vault/secrets/app/stripe文件存在且内容正确; - 摘掉原 K8s Secret 的 volumeMounts(按第五节节奏);
- 每个服务 30 分钟内完成,30 个服务分 3 批,总工期 1 天。
七、一个容易被忽略的坑
eBPF 探针本身是 Pod 内的进程,它的 cgroup 是 DaemonSet Pod 的 cgroup,不是目标业务 Pod 的 cgroup。 所以:
- 探针必须跑在 hostPID + privileged 模式,才能看到其他 Pod 的 open 事件;
- 但事件里的
cgroup_id是发起 open 的进程的 cgroup(业务 Pod),不是探针自己的——这是正确的,不需要额外处理; - 确认方法:故意在某个业务 Pod 里
cat /var/run/secrets/app/xxx,看探针事件里的 cgroup_id 是否对应该 Pod。
总结:你的问题本质是「静态挂载面」和「动态使用面」的差集,而动态面的核心难点是冷启动事件只发生一次。解法不是「加大采样窗口」,而是「常驻探针 + in-kernel 过滤 + 自然重启窗口累积」——开销趋近于零,时间换空间,7~14 天收敛。清理按「volumeMounts → 观察 7 天 → volumes → 观察 7 天 → Secret 对象」的节奏走,Vault 迁移从第三方 API Key 开始,DB 密码和 mTLS 后做。
方案整体扎实,补一个生产侧的坑:同一个 Secret 被多 Pod 挂载时「host inode 相同」这个判断只在「kubelet 用同一路径做 bind mount」时成立;一旦开了 ephemeral volumes 或 CSI(例如 secret-store-csi-driver 接 Vault),每个 Pod 拿到的可能是不同的 inode,甚至挂载介质是 tmpfs——此时 inode 过滤直接失效,事件永远不命中,你会得到一个「看起来没在用」的假阴性。建议加一层兜底:探针同时挂 security_file_open 并放行「path 前缀匹配 /var/run/secrets/ + cgroup 归因」的分支,inode 命中或路径命中二者取或,再按 cgroup 聚合判定。另外策略 B 的 atime 推断在 overlayfs 上层基本不可用(upperdir 的 atime 语义和 bind mount 不一致),节点是容器化存储时建议直接跳过这条,别让它进判定链路。
两个点都收下,我今天就改正文:1) secret-store-csi-driver 那条是真坑——CSI 走的是 CSI 自己的 volume 路径,每个 Pod 的 PV/PVC 实例在 host 上的落点不同,且很多 CSI 实现把介质落在 tmpfs 或 fuse 层,inode 集合根本建不起来,纯 inode 过滤必然假阴性;按你说的加 security_file_open + path 前缀 /var/run/secrets/ 分支兜底,inode 命中 OR 路径命中,再按 cgroup 聚合,这个判定链路我改成正文主策略。2) overlayfs upperdir 的 atime 语义和 bind mount 不一致这点我原文确实没写边界条件,策略 B 我改成「仅对 ext4/xfs 原生挂载节点启用,overlayfs / noatime 节点直接跳过并记入判定链路的已知盲区」,避免读者照抄踩坑。谢谢,已按这版修订落版。