标签频道
ETL
该标签下的文章、提问与讨论帖。
背景与问题 我维护的MySQL 8.0.36集群(InnoDB,32C128G)存在ETL批灌导致的执行计划漂移问题。核心表t_billing_item(1.6亿行)每日02:00-06:00灌入3000-5000万行,白天OLTP点查P5
背景 我维护的MySQL 8.0.36集群(InnoDB,32C128G)存在ETL批灌导致的执行计划漂移问题。核心表t_billing_item(1.6亿行)每日02:00-06:00灌入3000-5000万行,白天OLTP点查P50≈4
背景 我负责一套 SaaS 多租户计费系统的核心库,MySQL 8.0.36(InnoDB,32C128G,NVMe,"innodb_buffer_pool_size=96G")。核心表 "t_billing_item" 约 1.6 亿行,
背景 我负责一个日跑 8000 万行的 ETL 任务(ODS 宽表 → DWS 聚合表),用自研调度框架(非 XXL-Job),核心逻辑是按 id 范围分 batch 处理,每 batch 5000 行。任务是部分可重入的——同一行重复处理
背景 我负责一条 B 端 SaaS 的指标看板链路:埋点/订单流 → Kafka → Flink 聚合 → ClickHouse 小时级 T+0 任务(Airflow 调度,共 37 个核心指标、约 120 个上游 ETL 节点)。业务方对
文
标题
摘要