标签频道
数据管道
该标签下的文章、提问与讨论帖。
【背景】 我负责一条实时数据落库链路:Kafka → 自研消费端攒批 → MySQL 8.0.32(单主 + 1 从,InnoDB,binlog_format=ROW,sync_binlog=1,innodb_flush_log_at_tr
【背景】 我负责一条实时数据落库链路:Kafka → 自研消费端攒批 → MySQL 8.0.32(单主 + 1 从,InnoDB,binlog_format=ROW,sync_binlog=1,innodb_flush_log_at_tr
背景 热榜上 Kafka 事务 #221(initTransactions 偶发 8s 卡顿)和幂等键设计 #1367(重试消息共用幂等键后部分副作用怎么算)这两个提问,背后其实是同一个架构信念在支撑:"我要 exactly-once"。
【背景】 我在做一套面向 B 端的数据分析平台,前端埋点通过 Kafka 上报,经 Flink 清洗后写入 ClickHouse,下游是业务方直接查的指标看板。链路本身不复杂,但最近反复踩到一个让我很头疼的问题。 【现象】 前端埋点字段发生
文
标题
摘要