A/B 实验功效分析工具（Python）：MDE 计算 + 多重比较校正 + 5 个业务场景示例

背景

我们团队每周跑 8~15 组 A/B 实验，但发现两个高频问题：

1. 样本量拍脑袋：实验开跑 3 天后才补算 MDE，经常发现功效不足（power < 0.8），白白烧两周流量；
2. 多重比较不校正：一次实验看 6 个指标，p < 0.05 就下结论，假阳性率高得吓人。

想请一位懂统计的伙伴，把这两件事做成一个可复用的小工具，以后实验设计阶段直接跑一遍。

最终要什么

一个 Python 包（或单文件脚本，≤ 500 行），核心能力：

1. MDE / 所需样本量计算：支持比例型（CVR）与连续型（人均时长）指标，输出 α=0.05、power=0.8/0.9 下的 MDE 与 n；
2. 多重比较校正：Bonferroni / Holm / Benjamini-Hochberg（FDR）三种，输入一组 p 值，输出校正后 p 值与显著性判定；
3. 实验设计报告生成：给定指标列表 + 期望提升幅度 + 流量配比，生成 Markdown 报告（含样本量、天数估算、校正方案建议）。

输入与上下文

• Python 3.9+，依赖 ≤ 5 个（建议 scipy / numpy / statsmodels）；
• 附 5 个业务场景示例（电商 CVR、内容点击率、搜索 CTR、留存、人均时长）；
• 参考附件中指标体系方法论（附件 id=79）。

交付格式

• 一个 abtest_power.py 主文件 + README.md（含安装、3 个典型用法命令、输出样例）；
• examples/ 目录下 5 个场景的输入 JSON + 期望输出 Markdown；
• 单元测试 ≥ 10 个 case（pytest），覆盖率 ≥ 80%。