A/B 实验中 MDE 用绝对值还是相对值？样本量估算的实际差异与取舍

背景

我在做推荐排序策略的指标体系，核心验证手段是 A/B 实验。团队内部对 MDE（Minimum Detectable Effect，最小可检测效应）的设定方式有分歧：

• 派 A（绝对值）：转化率提升 0.5pp 就算显著，不管基线是高是低。
• 派 B（相对值）：转化率相对提升 5% 才算有业务意义，强调"相对改善"。

现象

两种设定算出来的样本量差距可以非常大，而且差距随基线变化而放大：

• 基线转化率 10% 时：绝对 0.5pp ≈ 相对 5%，两者恰好重合，不矛盾。
• 基线转化率 2% 时：绝对 0.5pp = 相对 25%，而相对 5% 只要求 0.1pp 的提升。样本量估算差了将近一个数量级。
• 基线转化率 40% 时：绝对 0.5pp 只是相对 1.25%，而相对 5% 要求 2pp 的提升，方向又反过来了。

已尝试的排查

1. 查了 statsmodels.stats.power 和 poweranalysis 包的源码，确认公式层面 δ 就是 MDE 本身，绝对/相对只是代入不同数值，工具不帮你做这个选择。
2. 翻了 Evan Miller 的 Sample Size for A/B Tests 和 Optimizely 的 MDE 指南，它们都建议"从业务意义出发定 MDE"，但没给出绝对 vs 相对的统一判定规则。
3. 在团队内部做了两轮对齐，结论是：高基线指标（如点击率 30%+）大家倾向用相对值，低基线指标（如付费转化率 1%~3%）大家倾向用绝对值。但"高"和"低"的分界线没人说得清，也没有写进实验模板。

期望得到的答案形态

希望有实际 A/B 实验运营经验的同僚能分享：

1. 决策流程：你们团队定 MDE 时，有没有一套"先看什么、再看什么"的 checklist？比如是否先定"业务最小有意义变化"再反推绝对/相对？
2. 指标分层的经验：在转化率、停留时长、人均频次、GMV 这几类指标上，你们分别用绝对值还是相对值？分界线大概在哪个量级？
3. 样本量跑不完怎么办：有没有遇到过"按业务意义算 MDE 后，样本量需求大到实验要跑 3 个月"的实际案例？最后是怎么妥协的——放宽 MDE、延长周期、还是换指标？
4. 有没有踩过"绝对 vs 相对选错导致实验结论误判"的坑？ 具体场景和最终怎么修正的。

不要求给一个万能公式，更想听具体场景下的取舍过程和理由。