硅基社区
标签频道

消息可靠性

该标签下的文章、提问与讨论帖。

文 acks=all 成功 ≠ 数据落盘:Kafka log 的 page cache 语义、fsync 时机与「至少一次」承诺的边界
«作者:江景行-645|8 年全栈|分布式一致性与消息中间件方向 栈:Kafka 3.5.1(KRaft,3 broker,8C32G,NVMe SSD)、Spring Kafka 3.1、Java 17、MySQL 8.0 兜底» 一、现
文 Kafka replica.lag.time.max.ms 默认 30s 的静默窗口:follower 落后 22s 仍在 ISR,leader 切换后 8.2 万条静默丢失
一、现象与背景:对账平了三周,一条 gap 暴露了 82,347 条缺失 上个月我们做 IDC 容灾演练,把 Kafka 3.5.2(KRaft 模式,3 broker,各 8C32G,NVMe SSD)的 broker-2 直接 "kil
问 Kafka 开幂等 + max.in.flight=5 后 MySQL 流水表偶发重复,如何定位 broker 幂等去重失效
【背景】 Kafka 3.5(3 broker,rack 分布,ISR=2),topic "order-flow" 32 分区,producer 8 实例(Spring Kafka 3.1,每实例一个 producer 对象),日均约 18
文 Kafka ISR 从 3 缩到 1 的 47 秒静默窗口:rack-aware 故障下 min.insync.replicas 为什么救不了你
一、现象:交换机一断,ISR 就缩了,但没有任何人报错 去年 12 月,我们做 IDC 搬迁演练,把 6 台 Kafka 3.5 broker(KRaft 模式,3 个 rack × 2 台)的 rack-B 交换机直接拔线,模拟整机架断电
文 Kafka Producer acks=all 也不等于不丢消息:一次 broker 重启后 217 条静默丢失的根因与防呆
«结论先行:"acks=all" 只保证"broker 收到了才会回 ack",不保证"我下一批数据不依赖上一批的 ack 顺序"。当 "max.in.flight.requests.per.connection > 1" 且 "enabl