指标可信度怎么量化成对外可输出的等级标签而不只是 DQC 告警？

结论先行：把 DQC 的"布尔告警"升级为"连续可信度分 + 等级映射"，核心是把散落的 DQC 规则输出、上游任务元数据、灰度/覆盖率等因子统一归一化后做加权聚合，最终落到一张 metric_confidence 表，BI 看板直接 JOIN 展示等级标签。

一、因子体系与权重（不拍脑袋的方法）

我把可信度拆成 4 类因子，每类给一个 0–1 的子分：

| 类别 | 因子示例 | 归一化方式 | 权重（默认） | |------|---------|-----------|-------------| | 完整性 | 事件覆盖率、行数环比偏离度 | min(1, 实际/预期) | 0.30 | | 一致性 | 主键去重率、跨表 JOIN 匹配率 | 去重后行数/原始行数 | 0.25 | | 时效性 | 上游任务延迟（分钟）、数据到达时间 vs SLA | max(0, 1 - delay/SLA_window)，灰度期 SLA_window 用近 7 日 P95 动态基线 | 0.25 | | 稳定性 | 近 7 日同指标波动 σ、灰度版本号数 | 1 - min(1, σ/σ_95) | 0.20 |

权重怎么定不拍脑袋（修订后完整流程）：

• Step 0（新增）：先跑因子间 Pearson 相关矩阵。事件覆盖率和去重率往往同涨同跌（上游漏采 → 下游去重率虚高），如果 r > 0.7，先合并成"完整性-一致性"复合因子（取 min 或几何平均），再进入拟合，否则逻辑回归拟合出的是"相关性的伪信号"而非"业务重要性"；
• Step 1：用上面默认值上线；
• Step 2：跑 4 周后，拿"业务方事后确认偏差"的 case 做标注（偏差 >5% 记 0，<1% 记 1），用逻辑回归拟合出权重；
• Step 3（新增）：阈值锚定业务容忍度，而非等分。比如业务方说"GMV 偏差 >3% 就要追责"，那 C 级阈值就锚定在"历史出现 >3% 偏差时置信分的 P50"，而不是拍 0.65。等分阈值上线三个月后业务方追问"为什么 B 级指标偏差 5%"的尴尬，根源就是阈值和业务容忍度没对齐；
• 我们实际拟合后权重变成 完整性 0.35 / 一致性 0.20 / 时效性 0.30 / 稳定性 0.15——时效性权重比预期高，因为灰度期上游延迟是最大偏差来源。

时效性因子的灰度期修正（新增）： max(0, 1 - delay/SLA_window) 里的 SLA_window 在灰度期（gray_versions ≥ 2）不能用固定值——灰度期新代码路径 cache miss 多，上游任务天然延迟高，用固定 SLA 会让所有指标被系统性打到 C 级，业务方误读为"数据质量崩了"。修正：灰度期 SLA_window = P95(upstream_delay, last 7 days)，把"灰度天然慢"和"真异常"区分开。

二、计算公式与字段设计

-- metric_confidence 表（ClickHouse）
CREATE TABLE metric_confidence (
    metric_id      String,
    stat_date      Date,
    confidence     Float32,          -- 0~1 综合分
    grade          LowCardinality(String),  -- A / B / C
    score_completeness Float32,
    score_consistency  Float32,
    score_timeliness   Float32,
    score_stability    Float32,
    gray_versions  UInt8,            -- 当天灰度版本号
    event_coverage Float32,          -- 事件覆盖率
    upstream_delay_min Int32,        -- 上游任务延迟（分钟）
    weight_version UInt16 DEFAULT 1, -- 权重版本号（每次权重调整 +1，BI 按版本回溯）
    zero_factors   String DEFAULT '',-- 触发零因子保护的因子名列表（如 "timeliness"）
    computed_at    DateTime
) ENGINE = ReplacingMergeTree(computed_at)
ORDER BY (metric_id, stat_date DESC);

修订说明：① 新增 weight_version 列，每次权重调整都升版本，BI 看板按版本切分看趋势，避免三个月后没人记得"今天的 C 级"和"三个月前的 C 级"是不是同一把尺子；② 新增 zero_factors 字段，标记哪些因子触发了零值保护；③ ORDER BY 改为 (metric_id, stat_date DESC)，BI 看板"最近 N 天"查询快一个数量级。

计算逻辑（Airflow 任务，T+0 小时级跑一次 + 每日 T+1 全量校准）：

import math

def compute_confidence(factors: dict, weights: dict) -> tuple[float, list[str]]:
    """
    factors: {'completeness': 0.78, 'consistency': 0.99,
              'timeliness': 0.10, 'stability': 0.60}
    weights: {'completeness': 0.35, 'consistency': 0.20,
              'timeliness': 0.30, 'stability': 0.15}
    返回 (综合分, 触发零因子保护的因子名列表)
    """
    EPSILON = 0.01
    KEY_WEIGHT_THRESHOLD = 0.15  # 权重 > 此值的因子视为"关键因子"
    zero_factors = []

    log_score = 0.0
    for name, s in factors.items():
        w = weights[name]
        if s == 0:
            if w > KEY_WEIGHT_THRESHOLD:
                # 关键因子为零 → 直接判 C 级（返回 0），避免几何平均硬零的歧义
                return 0.0, [name]
            else:
                # 非关键因子为零 → 用 ε 替代，打标记
                zero_factors.append(name)
                s = EPSILON
        log_score += w * math.log(s)

    return math.exp(log_score), zero_factors

修订说明：原版用 max(s, 0.01) 对所有因子统一兜底，但"关键因子归零"和"非关键因子归零"的业务含义完全不同。现在改为：关键因子（权重 > 0.15）归零直接判 C 级并标记，非关键因子归零用 ε=0.01 替代并在 zero_factors 字段记录，BI 看板可展示"⚠️ 时效性维度缺失"的 icon，而非笼统的 0 分。

等级映射（修订后）：

• A: confidence ≥ 0.85 → 绿色，"可对外汇报"
• B: 0.65 ≤ confidence < 0.85 → 黄色，"内部参考，注意灰度影响"
• C: confidence < 0.65 → 红色，"不建议用于决策"

修订说明：以上 0.85 / 0.65 是初始值，上线后必须用业务方确认的"偏差容忍度"反推校准。例如：业务方说"GMV 偏差 >3% 就要追责"，则 C 级阈值应锚定在"历史出现 >3% 偏差时置信分的 P50"；"偏差 >10% 要升级"则 A 级阈值锚定在"历史偏差 <1% 时置信分的 P50"。等分阈值是"数学舒适区"，业务容忍度反推才是"业务舒适区"。

三、离线 vs 实时？

推荐：T+0 小时级增量 + T+1 全量校准。

• 小时级任务：每次 Airflow DAG 跑完核心指标后，追加一条 metric_confidence 记录（只更新 computed_at，ReplacingMergeTree 自动去重）；
• T+1 全量：凌晨 02:00 用完整 24h 数据重算当天所有指标的最终 confidence，覆盖小时级中间值；
• 不需要实时——你的指标本身就是小时级 T+0，confidence 跟着指标周期走即可。

看板展示（以 Metabase / Superset 为例）：

• 在指标卡片右上角叠加一个圆点 + 等级字母（🟢A / 🟡B / 🔴C）；
• hover 展示 4 个子分 + 具体因子值（如"事件覆盖率 78%，上游延迟 45min"）；
• 点击 C 级标签跳转到"不可信原因明细"页（展开 4 个子分的计算过程）；
• 若 zero_factors 非空，额外展示"⚠️ {因子名}维度缺失（值为 0）"提示。

四、C 级时：拦截 vs 提示？

我们的边界：C 级不拦截展示，但强制加红色横幅 + 禁止"导出/分享"按钮。

理由：

1. 直接隐藏会让业务方"看不见"反而觉得数据没问题（你文档里写"仅供参考"没人读，隐藏了更没人知道）；
2. 禁止导出/分享是硬性边界——业务方可以"看"但拿不走，倒逼他们理解为什么不能用；
3. 连续 3 天 C 级 → 自动触发工单给数据团队，升级处理。

话术模板（贴在 C 级横幅上）：

⚠️ 该指标今日可信度 C 级（综合分 0.52），主因：事件覆盖率 78%（预期 ≥95%）、3 个灰度版本并行。不建议用于投放/汇报决策。预计明日 T+1 校准后恢复。

五、踩坑记录

1. 第一版用算术平均：某个指标覆盖率 0.99 但时效性 0.1，综合分 0.65 刚好卡 B 级边缘，业务方拿去汇报了。改成几何平均后短板惩罚更明显，这个问题消失了。
2. 权重用固定值跑了 2 个月：直到一次大灰度（5 个版本并行）后才发现"稳定性"因子权重应该动态调——灰度版本数 >3 时，自动把稳定性权重从 0.15 提到 0.30，其他因子等比缩减。
3. ReplacingMergeTree 的"假去重"：小时级写了 20 条、T+1 全量又写 1 条，SELECT count() 会看到 21 条，必须 SELECT ... FINAL 或按 computed_at 取最新。BI 查询模板里要强制带 FINAL。
4. （新增）灰度期时效性因子系统性偏低：用固定 SLA_window 归一化，灰度期所有指标被系统性打到 C 级。改用 P95 动态基线后，灰度期误报率从 ~40% 降到 <5%。
5. （新增）强相关因子重复计权：完整性和一致性实际 r=0.82，合并为复合因子后拟合出的权重更稳定，AUC 从 0.71 提到 0.83。
6. （新增）weight_version 缺失导致回溯困难：三个月后业务方追问"为什么这个指标从 B 变 C"，发现是中途调过权重但没记录版本，无法复现当时的计算逻辑。已补 weight_version 列。

小结：核心思路是"DQC 告警回答的是有没有坏，可信度分回答的是坏到什么程度、还能不能用"。因子拆分 → 相关性检验与合并 → 归一化（灰度期用动态基线）→ 几何加权（零因子分关键/非关键处理）→ 业务容忍度锚定阈值 → 看板叠加（带 weight_version 回溯），整条链路 2 周可落地（含 BI 改造）。权重别拍脑袋，先默认值上线再拿业务标注回归拟合；阈值别等分，拿业务容忍度反推。