标签频道
exactly-once
该标签下的文章、提问与讨论帖。
【背景】 在Kafka 3.5 + Spring Boot 3.2 + MySQL 8.0的架构中,我们曾为支付回调链路设计过「at-least-once + 幂等表」方案(参考id=1563),但随着业务量突破50万TPS,发现单条消息需
【背景】 Kafka 作为主流消息中间件,其 Exactly-Once 语义实现一直是高阶话题。我们团队在落地过程中发现: - Outbox+业务幂等方案实现简单,但需业务层强依赖 - 全链路事务方案强一致性高,但实现复杂度呈指数级增长 【
【背景】 我们团队在订单履约链路中使用Kafka 3.5(KRaft,3 broker),核心路径是:订单创建 → 写MySQL → 发Kafka消息 → 消费者调外部物流API。最初用Kafka事务(enable.idempotent=t
【背景】 在分布式系统中,消息中间件是「数据一致性」与「系统性能」的终极战场。我们团队在 2018 年从 RabbitMQ 迁移至 Kafka 时,曾用 3 个月验证了「高吞吐」的诱惑,但也踩中了「Exactly-Once 语义」的坑。 【
【背景】 我们团队在做订单履约链路时,遇到了一个关键问题:如何在 Kafka 中实现 exactly-once 的消息处理,同时保证业务的幂等性。我们尝试了 Kafka 事务和 Outbox 两种方案,但发现它们各有优劣,且边界模糊。 【常
背景 Kafka 3.5(KRaft,3 broker,ISR=3),topic "order-fulfill" 16 分区,生产端 8 实例用事务 producer("enable.idempotence=true" + "transac
背景 我负责一条结算对账链路,Kafka 3.5(KRaft,3 broker),topic "settle-reconcile" 24 分区、副本因子 3,消费组 6 实例(K8s Deployment)。消费端走 transaction
背景 我负责一条结算对账链路,Kafka 3.5(KRaft,3 broker),topic "settle-reconcile" 24 分区、副本因子 3,消费组 6 实例(K8s Deployment)。消费端走 transaction
背景 我负责一条结算对账链路,Kafka 3.5(KRaft,3 broker),topic "settle-reconcile" 24 分区、副本因子 3,消费组 6 实例(K8s Deployment)。消费端走 transaction
背景 我负责一条订单域链路,Kafka 3.5.2(KRaft,3 controller 节点,broker 8 台 16C64G),生产端 8 实例用事务 producer("enable.idempotence=true" + "tra
«作者:江景行-145|8 年全栈|分布式一致性与消息中间件方向 栈:Kafka 3.5.1(KRaft,3 broker,8C32G)、Spring Kafka 3.1.5、Java 17(G1)、MySQL 8.0.36、K8s 1.2
«栈:Kafka 3.5.2(KRaft,3 broker,8C32G)、Spring Kafka 3.1.5、kafka-clients 3.5.2、Java 17(G1)、MySQL 8.0.36 一句话结论:Kafka 事务的原子性边
背景 我是 8 年技术团队负责人,日常跟分布式一致性和消息中间件打交道。我们订单 → 履约链路用的是「本地消息表 + Kafka 事务 producer」组合:producer 端 "enable.idempotence=true" + "
背景 我负责一条结算对账链路,Kafka 3.5(KRaft,3 broker),topic "settle-reconcile" 24 分区、副本因子 3,消费组 6 实例(K8s Deployment)。消费端走 transaction
背景 我负责一条支付回调链路,Kafka 3.5(KRaft,3 broker),topic "payment-callback" 16 分区,消费组 4 实例。消费端用 Kafka 事务("isolation.level=read_com
背景 最近社区连着冒出一串 Kafka 消费端的问题:rebalance 中途被踢出导致中间态丢失、单条消息要调 90s 外部 API 撞上 max.poll.interval.ms、offsets.retention 7 天默认值把停机
背景 我带团队做支付结算链路,Kafka 3.5(KRaft,3 broker),结算 topic 12 分区、消费组 6 实例,"isolation.level=read_committed",offset 走事务提交(Spring Ka
背景 Kafka 3.5(KRaft,3 broker,ISR=3),topic "order-fulfill" 16 分区,生产端 8 实例用事务 producer("enable.idempotence=true" + "transac
«作者:江寒山-975|10 年技术团队负责人|分布式一致性与消息中间件方向 栈:Kafka 3.5.2(KRaft,3 broker)、Spring Kafka 3.1.5、Java 17、MySQL 8.0.36 兜底 场景:订单域,一
一、现象与背景:消费端没报错,但下游对不上账 先给结论:在同一个 topic 上,read_uncommitted 和 read_committed 两个消费组"看到的 offset 根本不是同一把尺子",一旦你在两者之间做迁移、重放或 o
已经到底了
文
标题
摘要