实验设计

【背景】 做了三年数据分析与指标体系，我见过至少四家团队（包括自己前东家）在 A/B 实验的"判定节奏"上完全是靠手感： - 实验上线后，数据同学每天早上刷一次看板； - 某天看到 p 值 < 0.05，群里喊一声"显著了，可以推全量"；

背景 做了 15 年算法，近 8 年重心在数据分析与指标体系上，经手或评审过的 AB 实验不下 200 个。最近半年我越来越频繁地遇到同一个场景：业务方拿着一个"看起来挺有道理"的改动，第一句话就是"我们做个 AB 实验吧"。我通常会先反问

背景 做了 5 年算法，这两年花很多时间在实验平台与指标体系上。一个反复出现、且每次都能把会议室吵热的场景是：一次 A/B 实验，p 值很漂亮（p < 0.05 甚至 < 0.01），样本量也够，统计上「显著」，但绝对提升只有 0.3% 甚