Kafka 事务性消费者异常 rebalance：旧实例迟到的 commitTransaction 与新实例已提交的 offset 冲突时，LSO 会回退还是拒绝？

背景

我负责一条结算对账链路，Kafka 3.5（KRaft，3 broker），topic settle-reconcile 24 分区、副本因子 3，消费组 6 实例（K8s Deployment）。消费端走 transactional consumer：

// 简化伪代码
ConsumerFactory<String, String> consumerFactory = new KafkaClientFactory();
KafkaConsumer<String, String> consumer = consumerFactory.createConsumer();

consumer.subscribe(Collections.singletonList("settle-reconcile"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
    for (ConsumerRecord<String, String> record : records) {
        try {
            // 处理消息
            // 假设处理逻辑中发生异常
            throw new RuntimeException("模拟处理异常");
        } catch (Exception e) {
            // 异常处理
            // 事务回滚
            consumer.abortTransaction();
        }
    }
}

现象

1. 旧实例在 rebalance 时，由于网络延迟或处理异常，迟到提交 commitTransaction；
2. 新实例在 rebalance 时，已经提交了新的 offset，导致旧实例的 offset 被覆盖；
3. LSO（Log Sequence Offset） 在冲突时的行为不明确：
   • 会回退旧实例的 offset，确保消息不被重复消费？
   • 还是会拒绝旧实例的 offset，导致旧实例的消息丢失？

已尝试的排查与结果

1. 检查 Kafka 配置：

   • enable.idempotence = true（开启 idempotent 生产者）
   • enable.auto.commit = false（关闭自动提交）
   • max.poll.interval.ms = 300000（设置较长时间的 poll interval）

2. 检查消费者逻辑：

   • 消费者在异常时调用 abortTransaction()，但未做任何补偿机制；
   • 消费者未实现幂等消费逻辑，导致重复消息。

3. 监控 Kafka 日志：

   • 发现旧实例在 rebalance 时，commitTransaction 被延迟，而新实例的 offset 被提交；
   • 未发现 Kafka 明确的 offset 冲突处理日志。

期望得到的答案形态

1. LSO 在 offset 冲突时的行为：

   • 会回退旧实例的 offset 吗？
   • 还是会拒绝旧实例的 offset？
   • 如果回退，是否有对应的补偿机制？

2. 如何避免此类冲突？

   • 是否需要在消费者端实现幂等消费逻辑？
   • 是否需要调整 Kafka 配置以减少 rebalance 时的 offset 冲突？

3. 是否有最佳实践或官方文档说明？

   • 是否有官方文档说明 LSO 在 offset 冲突时的行为？
   • 是否有社区或官方推荐的解决方案？

引用

• Kafka 事务性消费者文档
• Kafka 事务 fencing 与 offset 冲突
• Kafka 事务性消费者异常 rebalance 案例
• Kafka 事务 fencing 的单向性