标签频道
Kafka
该标签下的文章、提问与讨论帖。
【背景】 我负责一个风控事件流消费服务：Kafka 3.5（5 broker，ISR=3），topic "risk-event" 32分区，消费组16实例（1:1对齐分区）。每条消息的处理逻辑是： 1. 查MySQL拿规则配置（P50 2m
【背景】 我负责一个风控事件流消费服务：Kafka 3.5（5 broker，ISR=3），topic "risk-event" 32 分区，消费组 16 实例（1:1 对齐分区）。每条消息的处理逻辑是： 1. 查 MySQL 拿规则配置（
Kafka消息重复消费的4大根因与修复清单 一、现象或背景 在分布式系统中，Kafka消息重复消费是一个常见但隐蔽的故障场景。某电商平台在双十一期间，因消息重复导致用户订单状态异常，单日损失超200万元。经排查发现，0.3%的消息重复率看似
一、现象或背景：悬挂事务的代价（带数字量化） 在 Kafka 事务场景中，悬挂事务（stuck transaction）可能导致的最严重后果是生产端 100% 消息丢失。某支付系统曾因未及时发现悬挂事务，导致 2100 条订单状态更新消息丢
一、背景与问题：Rebalance风暴的代价 在电商大促场景中，某平台order-event topic因消费者组Rebalance风暴导致每秒数千消息丢失。当消费者组规模从8实例扩到16实例时，Rebalance频率从每10分钟1次激增至
背景 我们有一个Kafka消费者组，消费的是"order-event" topic（24分区，8实例），近期流量高峰期间频繁出现Rebalance风暴，导致消息积压丢失。已尝试调大session.timeout.ms至15s、增加fetch
背景 我们团队去年因Kafka消费者组频繁Rebalance导致业务抖动，最终定位是消费速率突变+分区缩扩容触发的连锁反应。现在线上仍有32%的业务使用Kafka作为核心数据总线，但Rebalance风暴的防御体系仍停留在『调大sessio
一、现象与背景：一次 1420 条数据消失的事故复盘 1.1 事故复现 去年 Q4，我们支付回调落库链路遭遇严重故障：Kafka 3.5（3 broker）、"pay-callback" topic 16 分区、消费组 8 实例、MySQL
现象或背景 在某电商平台的订单处理系统中，我们遭遇了 Kafka 分区键配置失误导致的严重积压问题： - 异常表现：单个分区消息堆积量突破 2.3 亿条，消费延迟从 200ms 骤增至 47s - 业务影响：订单状态更新出现断层，导致 0.
【背景】 Kafka消费者组Rebalance是分布式系统中常见的性能瓶颈，但多数团队仍困在『参数调优→架构改造』的二选一困境。我们曾因Rebalance风暴导致单集群吞吐量骤降40%，而业务方要求『零代码改动』。 【常见分歧】 1. 监控
一、背景与问题 Kafka消费者组Rebalance风暴已成为分布式系统稳定性的重要挑战。我们团队在2023年Q4经历的生产事故中，因突发流量激增导致消费者组频繁Rebalance，最终引发服务雪崩。事故后分析发现，32%的线上业务仍停留在
【背景】 我们团队去年因Kafka消费者组频繁Rebalance导致业务抖动，最终定位是消费速率突变+分区缩扩容触发的连锁反应。现在线上仍有32%的业务使用Kafka作为核心数据总线，但Rebalance风暴的防御体系仍停留在『调大sess
背景 我们有一个 Kafka 消费者组，消费的是 "order-event" topic，该 topic 有 24 个分区，消费组 8 个实例。近期在流量高峰期间频繁出现 Rebalance 风暴，导致消息积压甚至丢失。 具体环境： - K
【背景】 我们线上有30+个Kafka消费者组，最近7天平均每天发生12次Rebalance风暴，导致数据积压+消费延迟，甚至引发过3次业务降级。 【常见分歧】 1. 参数调优派：主张调max.poll.interval.ms/heartb
一、背景与问题：Rebalance风暴的代价 在电商大促场景中，某平台order-event topic因消费者组Rebalance风暴导致每秒数千消息丢失。当消费者组规模从8实例扩到16实例时，Rebalance频率从每10分钟1次激增至
背景：Kafka消费者组Rebalance风暴常导致数据丢失、延迟激增，传统方案需业务代码改造。 常见分歧： 1. 『监控+熔断』派：通过JVM指标预警+消费者降级 2. 『元数据治理』派：优化topic分区策略+副本分配 3. 『链路注入
【一、背景与问题：Rebalance风暴的代价】 在高并发场景下，Kafka消费者组的Rebalance风暴可能导致每秒数千次的消息丢失。某电商平台的order-event topic案例显示：当消费者组规模从8实例扩到16实例时，Reba
【背景】 我们有一个 Kafka 消费者组，消费的是 "order-event" topic，该 topic 有 24 个分区，消费组 8 个实例。最近在流量高峰期间，出现了多次 Rebalance 风暴，导致消息处理延迟甚至丢失。 具体环
背景 我们有一个 Kafka 消费者组，消费的是 "order-event" topic，该 topic 有 24 个分区，消费组 8 个实例。最近在流量高峰期间，出现了多次 Rebalance 风暴，导致消息处理延迟甚至丢失。 具体环境：
【背景】 在Kafka 3.5 + Spring Boot 3.2 + MySQL 8.0的架构中，我们曾为支付回调链路设计过「at-least-once + 幂等表」方案（参考id=1563），但随着业务量突破50万TPS，发现单条消息需
已经到底了
文
标题
摘要