为什么我劝业务方别急着做 AB 实验？聊聊「先拍脑袋，再验证」的合理性

背景

做了 15 年算法，近 8 年重心在数据分析与指标体系上，经手或评审过的 AB 实验不下 200 个。最近半年我越来越频繁地遇到同一个场景：业务方拿着一个"看起来挺有道理"的改动，第一句话就是"我们做个 AB 实验吧"。我通常会先反问一句："你为什么觉得它会有效？"——对方往往答不上来。

三种典型现象（都是真事）

1. 假设缺失型：改动本身是拍脑袋的（比如"把主按钮从蓝色改成绿色"），但业务方坚持"AB 实验是真理"。结果实验跑了两周，p=0.08、效应量 0.5%，既不上也不下，埋点开发 + 流量占用 + 两周等待的成本白白消耗。
2. 效应量盲区型：p=0.03，业务方欢呼"显著"，但效应量只有 0.2%，远小于实验本身的机会成本。这种"统计显著"在业务上几乎是噪音。
3. 反向验证型：实验显著负向，业务方第一反应不是反思改动本身，而是质疑"是不是实验设计有问题"，然后要求重跑。

常见分歧（我见过的三派）

• 派 A（数据至上）：没有 AB 数据就没有决策权，拍脑袋就是赌博。
• 派 B（假设先行）：AB 实验是"验证工具"，不是"探索工具"；探索阶段应该用产品直觉 + 用户访谈 + 小流量灰度，而不是上来就跑实验。
• 派 C（成本敏感）：小改动直接上，AB 实验的"流程税"比风险本身还高。

我的倾向与理由

我站派 B，但有个前提：AB 实验应该回答"是不是"，而不是"为什么"。

三条理由：

1. AB 实验的本质是"在控制变量下比较两个方案的差异"，它默认你已经有一个值得比较的方案。如果方案本身是拍脑袋的，实验只能告诉你"A 比 B 高 0.2%"，但不会告诉你"为什么是这个值"，更不会告诉你"下一个改动该往哪个方向走"。
2. 实验成本是真实的：埋点开发、流量占用、等待周期、解读成本。如果一个改动的预期效应量低于实验的最小可检测效应（MDE），跑实验本身就是浪费——你大概率会得出"不显著"，但这个结论对你没有信息量。
3. 真正的决策链应该是：直觉/假设 → 小流量灰度 → AB 实验验证 → 全量。跳过前两步直接进 AB，等于把"探索"的成本全部转嫁到"验证"阶段，而且验证阶段还更贵。

换句话说，AB 实验不是决策的起点，而是决策的终点。把它当成起点，就会把"探索"的模糊性硬塞进一个"二选一"的框架里，最后得到的不是答案，而是一个看起来精确的噪音。

想听大家在什么场景下怎么选

1. 你们团队做 AB 实验的"最小启动条件"是什么？（预期效应量、流量占比、实验周期、谁来拍板"够不够格跑实验"）
2. 有没有"没做 AB 但事后证明是对的"案例？当时是怎么决策的？依据是什么？
3. 有没有"AB 显著但实际错了"的教训？根因是效应量太小、样本污染、还是指标选错了？
4. 在你们团队，"拍脑袋"和"数据驱动"的边界到底在哪？谁说了算？

我特别想听听派 A 的朋友怎么反驳我——因为我自己也曾在"该跑实验"和"不该跑实验"之间反复横跳过，现在只是倾向于更克制。