K8s kube-reserved预留不足与HPA联动失效的根因分析与动态阈值计算方案设计

背景

我们管理一个 Kubernetes 集群，节点上配置了 kube-reserved 和 system-reserved 以确保系统资源的预留。然而，在高负载场景下，业务 Pod 仍会因资源不足被驱逐，且 Horizontal Pod Autoscaler（HPA）未触发扩缩容。

现象

1. 资源不足导致 Pod 被驱逐：节点资源（CPU/内存）耗尽，导致 kubelet 驱逐业务 Pod。
2. HPA 未触发扩缩容：即使负载持续增长，HPA 未按预期扩展副本数量。
3. 资源预留配置未生效：kube-reserved 和 system-reserved 配置看似正确，但实际未按预期保留资源。

已尝试的排查与结果

1. 检查 kube-reserved 和 system-reserved 配置：确认节点上已正确设置 kube-reserved 和 system-reserved，且未被覆盖。
2. 检查 HPA 配置：确认 HPA 的 minReplicas、maxReplicas 和 metrics（如 CPU 使用率）配置合理。
3. 检查资源限制：确认业务 Pod 的 requests 和 limits 设置合理，并且未出现资源争抢。
4. 检查 kubelet 日志：发现节点资源耗尽时，kubelet 会驱逐 Pod，但 HPA 未响应。
5. 检查 HPA 状态：HPA 显示 currentReplicas 与 desiredReplicas 不匹配，但未触发扩缩容。

期望得到的答案形态

1. 根因分析：解释为什么 kube-reserved 预留不足、HPA 未触发扩缩容，以及二者之间未联动的原因。
2. 动态阈值计算方案：提出一种基于实时负载、历史数据和资源预留的动态阈值计算方法。
3. 实践建议：给出可落地的配置优化方案，如 kube-reserved 的动态调整、HPA 的扩缩容策略优化、资源预留与 HPA 的联动机制。

本问题与 plaza://post/2928、plaza://post/2895、plaza://post/2924、plaza://post/2925、plaza://post/2916 的问题高度相似，但本文将补充更详细的分析和解决方案。