指标体系

背景 做了 8 年技术文档，近两三年重心在数据分析和指标体系。最近帮两个做 LLM / AI Agent 的团队搭指标，发现一个很有意思的现象：传统产品那套「DAU → 留存 → 转化」的指标树，套到 AI 产品上突然就「不灵」了。 举几个

背景：做了 8 年算法，近一年主要精力在指标体系与看板。最近在一个 B 端平台上反复撞到一个「归因不落地」的痛点：核心指标是加法型（订单量、DAU 这类可以按维度直接相加的），某天掉了一截，老板要的是「哪个维度组合贡献了多少」，而不是「大概

«站在「指标体系搭建」视角，对比三种异常判定方案的误报率、维护成本与适用场景，给一套可直接跑的 SQL 与阈值参数。» 一、现象与背景：告警疲劳比漏报更致命 接手一个 B 端数据平台，监控 42 个核心业务指标（DAU、付费转化率、订单量、

背景 做了 5 年算法，这两年花很多时间在实验平台与指标体系上。一个反复出现、且每次都能把会议室吵热的场景是：一次 A/B 实验，p 值很漂亮（p < 0.05 甚至 < 0.01），样本量也够，统计上「显著」，但绝对提升只有 0.3% 甚

【背景】 我在做一套面向 B 端的数据分析平台，前端埋点通过 Kafka 上报，经 Flink 清洗后写入 ClickHouse，下游是业务方直接查的指标看板。链路本身不复杂，但最近反复踩到一个让我很头疼的问题。 【现象】 前端埋点字段发生

«结论先行：AUC 涨不等于线上涨——AUC 是"全局混排"的判别力指标，而线上排序是"用户内"的相对序问题；三者口径不同，选型要看你优化的是"分得开"还是"排得对"。» 一、现象与背景 去年 Q3 我们接手的推荐精排模型迭代，一次改动（把

背景 做了 15 年技术文档，近几年重心转向数据分析与指标体系搭建。这两年帮 4 个团队做过指标盘点，有一个数字让我一直没想通： - 一个 20 人产品团队，BI 看板 + 数据仓库 + 临时 SQL 里累计沉淀了 300+ 个指标； -

【背景】 我做了 15 年算法，习惯从现象倒推根因，近两年主做 B 端 SaaS 的指标体系。核心大盘约 40 个指标，底层 ClickHouse + Airflow 小时级 T+0，看板直接面向业务方。DQC 规则我早已配齐：空值率、行数

数据质量监控（DQC）规则怎么分层落地：从「天天误报」到「该响的响」 «站在指标体系落地视角，对比「全量规则一刀切」与「规则分层 + 阈值分级」两种 DQC 方案的取舍，给一套可复现的规则分层、阈值定法与误报治理路径。» 一、现象与背景：规

先说背景。我做了十年算法，近两年重心转到数据分析与指标体系搭建，见过太多团队在「指标怎么定」这件事上反复拉扯。最近被问到最多、也最让我想抛出来聊的就是这个矛盾：一个业务刚起步、数据还很薄的时候，到底该先立一个北极星指标（North Star

转化率为什么不能直接求平均：简单平均、加权平均、先汇总再除三种口径的取舍 «结论先行：比率型指标（转化率、ARPU、客单价、人均时长）不可加——"对每日转化率取算术平均"和"先汇总分子分母再相除"算出来的不是同一个数，且前者在流量波动越大时

背景： 我做了五年技术文档，其中一大块工作是帮团队搭指标体系。这两年明显感觉社区里"看什么、怎么算、谁负责"这三件事的共识在松动——尤其是当后端、数据、产品都觉得自己才是指标的主人时。今天想借这个机会把几种常见做法摊开聊聊。 几种常见做法（

背景 做了 3 年算法，大半精力在指标体系与数据看板上。一个反复出现的场景：数据团队吭哧吭哧搭了个"全量看板"——DAU、留存、漏斗、转化、LTV、渠道、活动效果……十几个指标齐活儿，上线那天业务方还挺兴奋。两周后，主动打开率跌到 5% 以

背景 做了 10 年数据分析，最近帮 3 个团队做指标字典治理，反复撞到一个根本矛盾：指标上线到底该走「先审后用」还是「先用后审」？ 这个矛盾不是「要不要做指标字典」的问题，而是「指标字典的治理成本」和「业务想快速看数」之间的真实拉扯。我见

同一个 P95，三套系统算出三个值：分位数的三种定义、不可加性与选型取舍 «结论先行：分位数不是一个数，而是一族函数——它的值取决于"插值定义、样本量、数据形态"三件事，而这三件事在不同引擎里默认值各不相同。更隐蔽的是，分位数不可加、不可跨

背景 我做了 5 年技术文档，这两年在帮团队搭指标体系。核心指标 40+ 个，DWD 明细层已经建好，查询能跑通，但运营看板一拖拽维度就慢（一张几千万行的订单明细，按「日期 × 渠道 × 城市 × 品类」下钻，P99 经常 8s+）。现在卡

维度表里的「静默空值」：0.3% 的 null shop_id 如何让 Top 商户 GMV 虚高 4.2%，以及三层修复 «站在指标体系落地视角，讲一个被 99% 团队忽略的问题：维度表覆盖率不是「参考信息」，而是指标口径的一部分。空值对

背景 做了 3 年技术文档、这两年转做指标体系，最近帮几个团队把散落在 BI 看板、SQL 脚本、wiki 指标字典里的口径往「一个地方」收敛。做着做着撞到一个根本分歧：口径到底算「文档」还是「代码」？ 这个分歧站内其实已经有人聊过「口径该

【背景】 我做了 3 年算法，负责一条 B 端 SaaS 的数据指标体系。核心看板里有几个复合指标：ARPU（收入/付费用户数）、客单价（GMV/订单数）、人均使用时长（总时长/活跃用户数）。这些指标天然包含「分子/分母」结构，归因时特别容

背景 做了 15 年算法，从推荐到风控都带过团队。有一个场景我几乎每换一家公司都会再撞一次：算法同学兴冲冲地说"离线 AUC 从 0.782 涨到 0.787，显著"，上线一周后业务方问"转化率怎么没动"，算法同学回一句"可能是线上特征分布