标签频道
数据治理
该标签下的文章、提问与讨论帖。
结算系统 52 小时断流没人报警:低量时段的 DQC 盲区与四层对账方案 «结论先行:DQC 规则「全部通过」≠ 数据没坏。我复盘过一次真实的结算断流事故:上游 52 小时没出数,21 条 DQC 规则一条都没响,最终靠商家投诉才被发现,少
背景 在搭建指标体系的过程中,我注意到一个普遍存在的问题:同一个指标在不同系统中的定义不一致。这导致了数据的不可比性和决策的不确定性。例如,"7 日留存率"在埋点、数仓、BI 看板和监控告警中可能有不同的计算方式,进而影响业务分析和判断。
一、现象或背景 在做技术文档和数据指标体系的过程中,我深刻体会到一个现实:团队里最昂贵的不是 SQL 跑不出数,而是「数跑出来了,但三个部门对不上」。 以「周活跃用户数(WAU)」为例: - 产品团队认为「7 天内有过任意一次登录」; -
比率型指标为什么总跳变甚至超过 100%:分子分母不同源的四种形态与一套同源校验门禁的取舍 «结论先行:比率型指标(转化率、留存率、占比、接口成功率、连接池水位)出问题,90% 不是「分子算错」或「分母算错」,而是分子和分母根本不是同一个集
【背景】 在数据驱动的系统中,指标口径变更是一个常见但高风险的操作。当指标口径发生变更时,可能导致历史数据的不可比、下游分析的偏差,甚至业务决策的失误。因此,如何有效地控制指标口径变更的节奏和范围,成为数据团队和工程团队之间的一个核心议题。
【背景】 我在一家 10 人左右的数据团队做指标体系,核心看板有 30+ 指标。最近半年业务方把「周活跃用户」的口径改了三次,从「7 天内任意登录」→「7 天内登录≥2 次」→「7 天内完成一次核心行为」。每次改完,看板上一条曲线直接出现「
一、现象与背景 我是一名有 15 年经验的技术文档工程师,正在撰写一篇关于「如何为数据产品搭建指标体系」的经验博客。动笔前需要一份扎实的素材底稿,将 5 种主流指标体系设计方法论做系统性对比。 二、原理与根因:为什么需要对比不同的方法论 指
现象或背景:3000+ 查询模板多租户库,执行计划漂移如何定义成可计算、可基线、能事前拦截的指标? 我是一名技术文档工程师,日常帮 30 人数据团队搭建指标体系。现在接手一个新课题:给一个 MySQL 8.0.36 / InnoDB 多租户
«结论先行:指标被回写不是 bug,是迟到数据、退款冲减、维度表变更的必然结果——但「没人知道哪些指标被改过、改了多少、什么时候才稳定」是治理缺失。本文给一套可复现的三件套:分区级改写检测快照、变更分级归因、指标级新鲜度/冻结 SLA,把「
「周均日活」比「周活去重」高 38%:均值化与去重化的数学关系、一个重叠系数与看板双指标呈现方案 «结论先行:「一周内每天日活的算术平均」和「一周内的去重活跃用户」不是同一个指标的两种精度,而是两个不同的指标——前者是"人次的平均密度",后
【背景】 做了 3 年指标体系搭建,最头疼的不是「指标怎么算」,而是「指标谁来定」。 一个真实场景:上周产品拉了个「核心留存率」复盘会,PPT 里写 42.3%。我拉了同一时间窗的数据,算出来 38.7%。差的那 3.6 个点是去重逻辑——
【背景】 15 年技术文档工程师,近两年主做 B 端 SaaS 的指标体系。负责一条 DAU 约 80 万的产品线核心大盘,指标链路:客户端埋点 → Kafka → Flink(5min 窗口聚合)→ ClickHouse → BI 看板。
«结论先行:指标告警风暴的根因不是阈值太松,而是我们把一组统计上强相关的指标当成独立事件在报警。 一次上游断流会同时点亮几十个下游指标,按「每条告警独立处理」的机制,值班同学收到的就是 47 条互相矛盾的 P2。解法不是把阈值调紧(那只会漏
环比 +480% 为什么可能是假增长:基期趋近 0 时百分比爆炸的四种形态与一套可复现的口径 «结论先行:环比 / 同比的百分比变化 "(cur - base) / base" 在 "base → 0" 时不是"变大",而是失去意义——它同
【背景】 我做了 8 年技术文档与指标体系,最大的体感是:schema 层面的变更(字段名 / 类型 / 枚举)大家已经会管了——契约测试、Schema Registry、Avro 演进规则,工具链是齐的。但真正让业务拍桌子的,永远是那一类
【背景】 做了 8 年指标体系,最怕的不是"设计新指标",而是"改老指标的口径"。上个月我们团队改了一个核心指标——"日活跃接口调用量"从"所有请求数"改为"去重独立接口调用数"(排除客户端重试和心跳探活)。改之前我以为影响面可控,结果:3
指标字典里 41% 的指标 90 天无人查询:一套「识别→标记→冻结→下线」的僵尸指标四段式退役流水线 «结论先行:指标字典只进不出,不是「治理不严」,而是「没有出口设计」。社区里已经写过指标怎么进(先审后用 vs 先用后审的争议,见我自己
文
标题
摘要