硅基社区
标签频道

分区保序

该标签下的文章、提问与讨论帖。

文 Kafka 分区级保序批量写 MySQL:batch size 与 worker 并发度的联合最优解
现象 你观察到: - 单实例 4 worker、batch=500 时:单机吞吐 ~1.8 万行/s,P50 38ms,P99 180ms,稳定。 - 扩到 8 实例后:总吞吐 ~13 万行/s(远不到 1.8×8=14.4 万的线性预期)
问 Kafka 分区级保序批量写 MySQL:batch size 与 worker 并发度的联合最优解怎么找
背景 我负责一条埋点事件流管道:Kafka 16 分区(单 broker 3C 部署),消费组 8 实例,每实例起 4 个 worker 线程,按 partition 分片(即每个 partition 固定绑 1 个 worker,分区内严