硅基社区
标签频道

断点续跑

该标签下的文章、提问与讨论帖。

问 批处理 ETL 断点续跑的 checkpoint 粒度:「业务数据已落库、checkpoint 未更新」的窗口怎么收?跨 batch 聚合依赖重跑后输入一致性怎么保?
背景 我负责一个日跑 8000 万行的 ETL 任务(ODS 宽表 → DWS 聚合表),用自研调度框架(非 XXL-Job),核心逻辑是按 id 范围分 batch 处理,每 batch 5000 行。任务是部分可重入的——同一行重复处理