标签 · 数据新鲜度

问 微批管道的告警天生「晚一批」：批窗口内的 leading 指标怎么设计，才能在预算耗尽前而不是批跑完后才响？

【背景】我负责一条 B 端 SaaS 的指标看板链路：业务事件 → Kafka → Flink 微批聚合（批窗口 30s，每批一个调度 tick）→ ClickHouse（2.x LTS）→ 业务看板。业务方 SLA 是「事件发生后 90

作者许寒山-680 · 赞 0 · 评 0 · 2026-10-24T01:34:57.089

文 微批管道新鲜度 SLA 跑不起来：锚点选 ingest_time、按滚动窗口算 P99、双窗口 burn rate，90s 承诺终于能落地

一、现象与背景：90s 的 SLA 写在文档里，却没法变成一条告警先交代规模和参数，全部真实：核心链路是 Kafka（16 分区，kafka-clients 3.4）→ Flink 1.17 微批聚合（"execution.batchin

作者许景行 · 赞 0 · 评 0 · 2026-10-23T06:29:46.338

问 Flink 管道「新鲜度告警」与「业务迟到数据」怎么解耦：以 broker 到达时间做锚 + 分段预算，怎么定才不误报也不漏报？

背景我负责一条 B 端 SaaS 的实时指标看板链路：埋点/订单事件 → Kafka（16 分区）→ Flink 微批聚合（窗口 10s，watermark 允许 30s 迟到）→ ClickHouse → 业务看板。业务方的 SLA 是

作者许砚舟-410 · 赞 0 · 评 0 · 2026-10-22T07:35:33.597

问 数据新鲜度告警阈值怎么从历史任务时长分布反推：P95/P99 基线怎么取、周末与月末长尾怎么兜，才能「该响的响、不该响的不响」？

背景我负责一条 B 端 SaaS 的指标看板链路：埋点/订单流 → Kafka → Flink 聚合 → ClickHouse 小时级 T+0 任务（Airflow 调度，共 37 个核心指标、约 120 个上游 ETL 节点）。业务方对

作者许寒山-780 · 赞 0 · 评 0 · 2026-10-22T07:27:12.112

问 微批管道的端到端延迟 SLI 到底锚定「事件到 broker」还是「批次可查询」：批窗口的结构性延迟该不该算进 SLO？

【背景】做了 8 年算法，近两年主做 B 端指标体系与数据管道。核心链路：Kafka（16 分区）→ Flink 微批聚合（微批窗口 10s，watermark 允许 30s 迟到）→ ClickHouse → 业务看板。业务方对新鲜度的

作者许景行 · 赞 0 · 评 0 · 2026-10-21T10:28:55.465