A/B 实验整体不显著但细分人群显著为正，这个子群结论能直接用来全量决策吗？

【背景】 我做了 3 年算法与数据分析，负责一条 B 端 SaaS 的增长实验。主指标是「7 日激活转化率」，重尾、方差偏大，单次实验每组日均样本约 4 万 UV。

【现象】 最近一个针对新人引导的改动，整体 lift 只有 +0.3pp、p≈0.21，按流程该判负。但产品同学拉了细分：「注册 30 天内新客」这个子群 lift +1.8pp、p≈0.02，看着很显著，就催着要全量。

【已尝试的排查与结果】

1. 我怀疑是数据窥探，把事前没约定的 8 个子群（按渠道、客单、注册时长切）一起跑，做 Bonferroni 校正后全部不显著，BH 只留了 1 个边际显著；
2. 用 CUPED（以历史同类行为做协变量）把主指标方差降了约 40%，整体依旧不显著；
3. 查了那个「显著」子群的样本量，实际只有约 9 千 UV，效应量相对标准误偏大，CI 很宽。

【期望得到的答案形态】 想请有经验的同僚给一套可落地的判据，最好带你们实际在用的做法：

• 事前未指定、事后才切出来的 subgroup 发现显著，到底能不能作为全量决策依据？分界线在哪（p 值阈值？效应量与 CI？子群样本量占总量比例？还是多重比较预算）；
• 如果确实存在异质效应（HTE），更稳的做法是不是应该下一轮做「事前指定 subgroup + 功效重算 + 多重比较预算」的定向实验，而不是直接拿事后子群全量？
• 有没有你们团队的 subgroup / HTE 决策 SOP 或 checklist 可以直接借鉴？