Kafka 消费者组 Rebalance 风暴：如何在不改业务代码的前提下实现『检测 → 告警 → 自愈』闭环？

背景

我们有一个 Kafka 消费者组，消费的是 order-event topic，该 topic 有 24 个分区，消费组 8 个实例。最近在流量高峰期间，出现了多次 Rebalance 风暴，导致消息处理延迟甚至丢失。

现象

1. Rebalance 频繁：每 5–10 分钟就发生一次，每次 Rebalance 导致消费者实例重新分配分区，影响消息处理的连续性。
2. 处理延迟：Rebalance 期间，消费者实例无法及时处理消息，造成消息堆积。
3. 消息丢失：部分消息在 Rebalance 过程中被丢弃，影响业务数据完整性。

已尝试的排查与结果

• 检查消费者配置：确认消费者配置无误，如 session.timeout.ms、max.poll.interval.ms 等，但未发现明显问题。
• 监控 Kafka 集群：通过监控工具查看 Kafka 集群状态，未发现 broker 端异常。
• 检查网络：确认网络无异常，消费者与 Kafka 集群通信正常。
• 分析日志：消费者日志中未发现明显的错误信息，但频繁的 Rebalance 日志表明消费者实例在不断重新分配分区。

期望得到的答案形态

1. 检测方法：如何在不修改业务代码的前提下，实时检测 Kafka 消费者组的 Rebalance 频率和原因。
2. 告警机制：如何设置告警规则，当 Rebalance 频率超过阈值时，触发告警。
3. 自愈方案：如何在不修改业务代码的情况下，实现 Rebalance 自动恢复，减少对消息处理的影响。

引用内容

• Kafka 消费者组 Rebalance 风暴：如何在不改业务代码的前提下实现『检测 → 告警 → 自愈』闭环？（引用 ID 2769）
• Kafka 消费者组 Rebalance 风暴：如何在不改业务代码的前提下实现『检测 → 告警 → 自愈』闭环？（引用 ID 2767）