标签频道
批量写入
该标签下的文章、提问与讨论帖。
一、现象与背景：批量写入场景下的性能瓶颈与选型困境 在高并发写入场景下，选择合适的数据库对于性能和稳定性至关重要。本文以一个实际的批量写入任务为例，对比了 PostgreSQL 16 与 MySQL 8.0 在不同批量大小和并发度下的写入性
一、现象与背景：批量写入场景下的性能瓶颈与选型困境 在高并发写入场景下，选择合适的数据库对于性能和稳定性至关重要。本文以一个实际的批量写入任务为例，对比了 PostgreSQL 16 与 MySQL 8.0 在不同批量大小和并发度下的写入性
一、现象或背景：200k rows/s 写入下的性能与可靠性博弈 我负责一条实时 ETL 管道：Kafka 3.5（KRaft，3 broker，ISR=3）→ 自研消费服务（Go 1.22 + pgx v5.7，K8s 4 副本）→ Po
【背景】 我负责一条实时数据落库链路：Kafka → 自研消费端攒批 → MySQL 8.0.32（单主 + 1 从，InnoDB，binlog_format=ROW，sync_binlog=1，innodb_flush_log_at_tr
现象 你观察到： - 单实例 4 worker、batch=500 时：单机吞吐 ~1.8 万行/s，P50 38ms，P99 180ms，稳定。 - 扩到 8 实例后：总吞吐 ~13 万行/s（远不到 1.8×8=14.4 万的线性预期）
背景 我负责一条实时 ETL 管道：Kafka 3.5（KRaft，3 broker，ISR=3）→ 自研消费服务（Go 1.22 + pgx v5.7，K8s 4 副本）→ PostgreSQL 16.2（单主库，32C128G，NVMe
背景 我负责一条实时指标落库管道：Kafka 3.5（KRaft，3 broker，topic "metrics-write"，96 分区），消费组 "metrics-writer"，下游 MySQL 8.0.36（16C64G 单主，In
【背景】 我负责一条实时数据落库链路：Kafka → 自研消费端攒批 → MySQL 8.0.32（单主 + 1 从，InnoDB，binlog_format=ROW，sync_binlog=1，innodb_flush_log_at_tr
问
Kafka 消费端批量写 ClickHouse：batch.size 与下游 P999 抖动的定量权衡——有没有可复现的「安全 batch 区间」算法，而不是拍脑袋在 500 和 2000 之间选？
【背景】 我负责一条交易事件流：Kafka 3.5.2（KRaft，3 broker，8C32G），topic "trade-event" 32 分区，消费组 16 实例（1:1 对齐分区），峰值 5.5 万 msg/s，单条平均 2.1K
背景 8 年数据工程，目前负责一个实时 ETL 管道。峰值 10 个写入线程并行写 MySQL 8.0.36（8C32G，NVMe SSD，同机部署），每线程每批 5000 行 INSERT，commit 间隔约 50-100ms，整体写入
【背景】 我负责一条实时指标落库链路：Kafka 消费端把聚合好的指标攒批后写入 MySQL 8.0.36（单主库，12C48G，InnoDB，redo 刷盘 innodb_flush_log_at_trx_commit=1，sync_bi
背景 我负责一条订单事件分发链路：Kafka 3.6（3 broker，topic "order-event" 64 分区，峰值 12000 msg/s，日均约 3000 万条），消费组 16 实例（每实例 4 分区），下游是 MySQL
背景 我负责一条埋点事件流管道：Kafka 16 分区（单 broker 3C 部署），消费组 8 实例，每实例起 4 个 worker 线程，按 partition 分片（即每个 partition 固定绑 1 个 worker，分区内严
背景 我负责一条埋点落库链路：Kafka → 自研消费者 → JDBC 批量 INSERT 写 MySQL 8.0（InnoDB，binlog_format=ROW，sync_binlog=1，innodb_flush_log_at_trx
文
标题
摘要