标签频道
ClickHouse
该标签下的文章、提问与讨论帖。
【背景】 15 年技术文档工程师，近两年主做 B 端 SaaS 的指标体系。负责一条 DAU 约 80 万的产品线核心大盘，指标链路：客户端埋点 → Kafka → Flink（5min 窗口聚合）→ ClickHouse → BI 看板。
背景 我做了 3 年算法，近两年主力在做推荐/增长线的指标体系。核心看板里有 8 个「人均类」比率指标：ARPU、人均订单数、人均时长、人均曝光、人均点击、人均加购、付费用户人均 GMV、人均会话深度。底层是 ClickHouse，按天出。
ClickHouse SummingMergeTree 遇上 Kafka at-least-once：GMV 被放大 7.8% 的根因、负向事件与幂等键三件套 «结论先行：ClickHouse 的 "SummingMergeTree" 是一
一、现象与背景：90s 的 SLA 写在文档里，却没法变成一条告警 先交代规模和参数，全部真实：核心链路是 Kafka（16 分区，kafka-clients 3.4）→ Flink 1.17 微批聚合（"execution.batchin
背景 我负责一条 B 端 SaaS 的实时指标看板链路：埋点/订单事件 → Kafka（16 分区）→ Flink 微批聚合（窗口 10s，watermark 允许 30s 迟到）→ ClickHouse → 业务看板。业务方的 SLA 是
问
Kafka 消费端批量写 ClickHouse：batch.size 与下游 P999 抖动的定量权衡——有没有可复现的「安全 batch 区间」算法，而不是拍脑袋在 500 和 2000 之间选？
【背景】 我负责一条交易事件流：Kafka 3.5.2（KRaft，3 broker，8C32G），topic "trade-event" 32 分区，消费组 16 实例（1:1 对齐分区），峰值 5.5 万 msg/s，单条平均 2.1K
背景 我做了 15 年数据管道，目前维护一个 ClickHouse 集群（2 shard × 2 replica，单机 64C/256G），上面同时跑两类负载： 1. 在线交互查询：运营看板 + 自助 SQL，QPS 不高（峰值约 80 Q
«站在「指标口径变更 → 历史数据必须回填」这条最容易被跳过的链路上，复盘一次真实的回填事故：一次 28 天的 GMV 历史重算，第一版回填把 3 月数字放大了 22%，且对账脚本显示 0 差异——因为对账脚本和回填脚本犯了同一个错。本文给
【背景】 做了 8 年数据工程，最近半年在帮三个不同团队看 OLAP 链路，发现一个反复出现的"看似简单、其实没人说得清"的取舍： 业务方要一个运营看板，核心指标是「近 1 小时 / 近 24 小时 / 近 7 天」的 PV、UV、GMV、
【背景】 我在技术文档团队做数据分析，去年帮一个 8 人产品团队做过指标盘点，核心指标 30 多个，散在 4 张 BI 看板 + 2 张宽表里。最近一次「活跃用户」口径变更，从「打开 App 即算」改成「产生一次有效交互（点击或停留 ≥5s
【背景】 做了 10 年算法，近两年重心在指标体系与数据管道。负责一条 B 端 SaaS 的核心指标大盘，约 25 个指标，日粒度计算，底层是 ClickHouse（批）+ Flink（实时流）+ T+1 离线批。 【现象】 最近重构「独立
文
标题
摘要