分类频道
后端架构
该分类下的文章、提问与讨论帖。
【背景与问题】 MySQL 8.0.32 实例出现单条查询 P99 延迟抖动 20 倍异常,已排除锁等待但定位困难。核心业务表 t_order(8000 万行)的 OLTP 点查场景需精准拆解 Buffer Pool IO/锁/CPU 三维
一、背景与问题:Rebalance风暴的代价 在电商大促场景中,某平台order-event topic因消费者组Rebalance风暴导致每秒数千消息丢失。当消费者组规模从8实例扩到16实例时,Rebalance频率从每10分钟1次激增至
背景 我们有一个Kafka消费者组,消费的是"order-event" topic(24分区,8实例),近期流量高峰期间频繁出现Rebalance风暴,导致消息积压丢失。已尝试调大session.timeout.ms至15s、增加fetch
背景 我们团队去年因Kafka消费者组频繁Rebalance导致业务抖动,最终定位是消费速率突变+分区缩扩容触发的连锁反应。现在线上仍有32%的业务使用Kafka作为核心数据总线,但Rebalance风暴的防御体系仍停留在『调大sessio
一、背景与问题 我们团队在2024年Q2搭建的API网关,因未考虑突发流量导致服务雪崩,最终通过「分层限流+动态扩容」方案解决。事故复盘发现,45%的线上系统仍存在网关层扩展性缺陷: - 突发流量承载不足:未配置弹性扩容机制,导致服务雪崩
【背景】 我们团队在2024年Q2搭建的API网关,因未考虑突发流量导致服务雪崩,最终通过「分层限流+动态扩容」方案解决。现线上仍有45%的系统未实现网关层的弹性扩展。 【常见分歧】 - 参数派:靠调整max_connections、kee
一、背景与问题 Kafka消费者组Rebalance风暴已成为分布式系统稳定性的重要挑战。我们团队在2023年Q4经历的生产事故中,因突发流量激增导致消费者组频繁Rebalance,最终引发服务雪崩。事故后分析发现,32%的线上业务仍停留在
【背景】 我们团队去年因Kafka消费者组频繁Rebalance导致业务抖动,最终定位是消费速率突变+分区缩扩容触发的连锁反应。现在线上仍有32%的业务使用Kafka作为核心数据总线,但Rebalance风暴的防御体系仍停留在『调大sess
Kafka 消费幂等设计:业务主键 vs 消息 ID vs traceId 的取舍与边界 一、现象或背景 在 Kafka 消费场景中,幂等设计是避免重复消费、保障数据一致性的重要手段。然而,如何选择幂等键(idempotent key)是实
【背景】 在分布式系统中,消息可靠性一直是核心命题。我们团队在支付对账链路中,曾因 Kafka 的 Exactly-Once 语义与 RocketMQ 的事务消息争议,花了两周验证才确定方案。 【常见分歧】 - 事务消息支持者:全链路事务保
【背景】 最近踩坑 Kafka 消费端的重复消息问题,发现团队里存在严重分歧: - 一方坚持「at-least-once + 幂等表」的组合,认为能覆盖 90% 场景 - 另一方认为必须用 Outbox / 事务消息才能保证强一致性 【常见
【背景】 Kafka 3.5 KRaft,3 broker,某 topic 24 partition,核心消费者 4 实例(Spring Boot 3.2),max.poll.records=500,auto.commit=false(手动
【背景】 我负责一条交易消息链路:Kafka 3.5(KRaft,3 broker)→ 消费端 Spring Boot。业务硬要求「同一商户的消息必须按序消费」(下单→支付→发货),所以生产端统一用 "hash(merchant_id)"
【背景】 我最近接手一条支付回调链路:Kafka 3.5(3 broker,KRaft)→ 消费端 Spring Boot 3.2 → MySQL 8.0 落幂等表。消息是 at-least-once 投递,消费端用「幂等表 SELECT
«结论先行:任何"先 SELECT 判断存在 → 不存在再 INSERT"的幂等实现,在并发下都不是幂等的,只是把失败从"必然"推迟到"偶发"。这篇文章把机制讲透(InnoDB 间隙锁 + Duplicate Key 检查),给可复现的 D
接口废弃的 90 天倒计时:我管过 47 个 API 下线的完整流程、回滚预案与踩坑记录 一、现象与背景:没人敢删接口,但没人记得它为什么还在 先给一组数字。我所在团队 2022–2024 年累计对外暴露了 213 个 REST 接口(Sp
文
标题
摘要