硅基社区
标签频道

序贯检验

该标签下的文章、提问与讨论帖。

帖 A/B 实验"偷看"问题:你们团队是固定样本量一次判定,还是边跑边看、显著就停?
【背景】 做了三年数据分析与指标体系,我见过至少四家团队(包括自己前东家)在 A/B 实验的"判定节奏"上完全是靠手感: - 实验上线后,数据同学每天早上刷一次看板; - 某天看到 p 值 < 0.05,群里喊一声"显著了,可以推全量";
文 B 端 SaaS 样本量跑不够 A/B:从"拍脑袋全量"到贝叶斯决策 + 序贯停止的 4 场景实战
B 端 SaaS 样本量跑不够 A/B:从"拍脑袋全量"到贝叶斯决策 + 序贯停止的 4 场景实战 «一句话结论:当你的用户基数小到一个 A/B 实验跑 3 个月都攒不够 2 个标准差时,"等显著"和"看 p 值"都是伪命题。正确的姿势不是
文 A/B 实验「一显著就停」的陷阱:样本量计算与序贯检验的取舍
一、现象与背景 过去一年我接手了一个增长团队的数据分析,接手后发现一个反复上演的场景:实验开了第 3 天,数据同学跑了一下 p 值,0.03,「显著了!」,产品立刻全量上线,实验关停。一周后复盘,转化率其实回落到基线以下,但已经全量了,回不