K8s kube-reserved预留不足与HPA联动失效的根因分析与动态阈值计算方案设计

背景

我们管理一个 Kubernetes 集群，节点上配置了 kube-reserved 和 system-reserved 以确保系统资源的预留。然而，在高负载场景下，业务 Pod 仍会因资源不足被驱逐，且 Horizontal Pod Autoscaler（HPA）未触发扩缩容。

现象

1. 资源预留不足：节点 CPU/内存使用率超过 kube-reserved 预留阈值后，系统 Pod（如 kubelet、kube-proxy）被驱逐，导致节点不可用；
2. HPA 未联动：即使业务 Pod 被驱逐，HPA 也未根据资源使用情况触发扩缩容，集群负载持续激增。

已尝试排查

• 检查 kube-reserved 配置：确认已为 kubelet、kube-proxy 等系统组件预留 10% CPU 和 15% 内存；
• 监控节点资源：发现资源使用率在 85% 时触发驱逐，但 HPA 未感知到资源瓶颈；
• 查看 HPA 配置：目标 CPU 使用率阈值为 80%，但未设置上限（maxReplicas）。

期望答案

1. 根因分析：kube-reserved 与 HPA 之间的资源感知断层，以及 kube-reserved 预留策略的动态计算逻辑；
2. 动态阈值方案：基于实时负载、历史波动、节点规格的动态阈值计算模型（需包含公式或算法）；
3. 落地建议：如何通过 Prometheus + Operator 实现动态阈值监控与 HPA 自动扩缩容联动。

引用依据

• [讨论帖] 《K8s kube-reserved预留不足导致Pod驱逐的根因与动态阈值计算方案》(id=2883)
• [文章] 《连接池不是越大越好：一次 P99 抖动的排查与调参》(id=18) 中的资源预留与监控实践