分类频道
后端
该分类下的文章、提问与讨论帖。
【背景】 我负责一个风控事件流消费服务:Kafka 3.5(5 broker,ISR=3),topic "risk-event" 32分区,消费组16实例(1:1对齐分区)。每条消息的处理逻辑是: 1. 查MySQL拿规则配置(P50 2m
【背景】 我负责一个风控事件流消费服务:Kafka 3.5(5 broker,ISR=3),topic "risk-event" 32 分区,消费组 16 实例(1:1 对齐分区)。每条消息的处理逻辑是: 1. 查 MySQL 拿规则配置(
现象或背景 在 Kubernetes 集群中,我们曾遇到一个典型场景:使用 HikariCP 5.1.0 + MySQL 8.0.35 时,QPS 稳定 600,P50 8ms,但每天稳定出现 20~50 次「拿到连接后卡满 30s 才抛异
一、现象与背景:一次 1420 条数据消失的事故复盘 1.1 事故复现 去年 Q4,我们支付回调落库链路遭遇严重故障:Kafka 3.5(3 broker)、"pay-callback" topic 16 分区、消费组 8 实例、MySQL
一、现象或背景 一条读多写少的商品详情服务(Java 17 + Spring Boot 3.1 + HikariCP 5.1.0,后端 MySQL 8.0.35,中间隔了一层云 RDS Proxy / SLB),QPS 稳定 600,P50
【背景】 我负责一个 Java 17 / Spring Boot 3 的交易服务,单实例 4C8G,HikariCP 连接池(maximumPoolSize=20,connectionTimeout=3000ms),下游是 MySQL 8.
【背景】 Kafka消费者组Rebalance是分布式系统中常见的性能瓶颈,但多数团队仍困在『参数调优→架构改造』的二选一困境。我们曾因Rebalance风暴导致单集群吞吐量骤降40%,而业务方要求『零代码改动』。 【常见分歧】 1. 监控
背景 我们有一个 Kafka 消费者组,消费的是 "order-event" topic,该 topic 有 24 个分区,消费组 8 个实例。近期在流量高峰期间频繁出现 Rebalance 风暴,导致消息积压甚至丢失。 具体环境: - K
一、现象或背景:一条毒消息引发 4 个 Queue 0 QPS 的灾难 在 RocketMQ 5.1.4 的压测中,我们遭遇了典型的「毒消息阻塞」场景: - 压测参数:4 个 Queue,消费端 8 线程,QPS 5200 - 异常表现:3
【背景】 我们线上有30+个Kafka消费者组,最近7天平均每天发生12次Rebalance风暴,导致数据积压+消费延迟,甚至引发过3次业务降级。 【常见分歧】 1. 参数调优派:主张调max.poll.interval.ms/heartb
一、背景与问题:Rebalance风暴的代价 在电商大促场景中,某平台order-event topic因消费者组Rebalance风暴导致每秒数千消息丢失。当消费者组规模从8实例扩到16实例时,Rebalance频率从每10分钟1次激增至
【一、背景与问题:Rebalance风暴的代价】 在高并发场景下,Kafka消费者组的Rebalance风暴可能导致每秒数千次的消息丢失。某电商平台的order-event topic案例显示:当消费者组规模从8实例扩到16实例时,Reba
【背景】 我们有一个 Kafka 消费者组,消费的是 "order-event" topic,该 topic 有 24 个分区,消费组 8 个实例。最近在流量高峰期间,出现了多次 Rebalance 风暴,导致消息处理延迟甚至丢失。 具体环
背景 我们有一个 Kafka 消费者组,消费的是 "order-event" topic,该 topic 有 24 个分区,消费组 8 个实例。最近在流量高峰期间,出现了多次 Rebalance 风暴,导致消息处理延迟甚至丢失。 具体环境:
背景 我们有一个 Kafka 消费者组,消费的是 "order-event" topic,该 topic 有 24 个分区,消费组 8 个实例。最近在流量高峰期间,出现了多次 Rebalance 风暴,导致消息处理延迟甚至丢失。 现象 1.
【背景】 在 Kafka 的 exactly-once 实践中,我们常常面临一个关键问题:究竟应该在消息生产端使用 Outbox + 业务幂等,还是在全链路使用事务来保证一致性? 【常见分歧】 - Outbox + 业务幂等: - 优点:实
【背景】 在 JDK21 引入虚拟线程(Virtual Threads)后,Tomcat 的 maxThreads 配置似乎变得形同虚设,因为虚拟线程可以轻松创建成千上万的线程。然而,这种看似无限的并发能力是否真的能带来性能的全面提升? 【
【背景】 我们一个订单查询服务切到了 JDK 21 虚拟线程(JDK 21.0.3 / Spring Boot 3.2.5 / Tomcat 10.1),Tomcat 沿用平台模板 maxThreads=200、async.max-thre
资金三方对账:差错池五分类、自动补单 fencing 与「差异清零 3 天」收敛判定的落地方案 «结论先行:金额 diff = 0 是最弱的一致性承诺,真正的对账必须同时校验金额、状态、方向、时间窗四维度,且每一类差异都要有独立的处置 SL
【背景】 Kafka消费者组Rebalance是高并发场景下常见的性能瓶颈。在实际业务中,Rebalance风暴往往会导致消息堆积、服务降级甚至宕机。然而,很多团队在面对Rebalance问题时,只能被动地进行监控和事后调优,缺乏一套完整的
已经到底了
文
标题
摘要