AI 功能立项前两周快速验证：影子模式 / 小流量 demo / 埋点观察，到底该用哪种，成败标准怎么定？

背景

我做了 15 年技术 PM，近两年带一个 8 人后端团队做 B 端 SaaS，期间立项了 4 个 LLM 功能：智能摘要、对话式搜索、客服工单改写、文档问答。立项评审都过了、都上线了，但上线 3 个月内的周活跃使用率全部低于 10%，每个立项到上线平均 3–4 个月。复盘下来我越来越怀疑：问题不在"做"，而在"立项前的验证太晚、太粗"——立项会上大家凭感觉投了票，等做完才发现用户根本不接。

现象（卡点）

我现在想在团队里固化一条规则：任何 AI 功能立项前必须跑 2 周快速验证，验证不通过就不进排期。但具体怎么设计，我卡在三个问题上：

1. 验证的边界在哪？ 影子模式（后台跑 LLM 但不展示给用户）、prompt 工程 demo（找 5–10 个目标用户试用）、埋点观察（看现有功能里用户是不是在"绕路"做这件事）——这三种方法我都能想到，但不知道在 B 端 SaaS 场景下哪种信号最可信。影子模式我试过，问题是"对比基准"不知道拿什么（人工标注？历史日志？），而且两周太短，看不出用户会不会真的用；demo 路演我做过，5 个用户里 3 个说"挺好的"，但上线后没人用——demo 里的"挺好的"到底算什么级别的信号；埋点观察最被动，但 B 端用户量小，两周样本量可能不够。
2. 成败标准怎么定？ 验证两周后，用什么数据拍板"继续投 3–4 个月"还是"砍掉"？我目前的直觉是看"用户主动触达率"（demo 里用户自己回来用了几次），但没有量化阈值，也不知道该不该看"使用频次 × 完成度"这种复合指标。
3. 验证期间的用户感知？ B 端客户对"我们在测试新功能"这件事很敏感，能不能让 1% 的真实用户看到 AI 功能、但不影响主流程、且不承诺 SLA？这种"小流量灰度验证"和"影子模式"在落地上的差别到底有多大？

已尝试与结果

• 方案 A：影子模式——后台跑 LLM 输出但不展示，与人工结果对比。结果：对比基准难定义（我拿"客服工单人工改写"当基准，但人工本身就有 20% 的漂移），两周数据看不出用户意愿。
• 方案 B：demo 路演——prompt 工程 3 天做一个最小可演示版本，找 5–10 个目标客户试用。结果：主观反馈 3/5 说"挺好的"，但 2 周后回访，0 人主动使用过。demo 的"挺好"和真实使用之间，差了一道我看不见的门槛。
• 方案 C：埋点观察——在现有功能里加埋点，看用户是不是在"绕路"做 AI 功能想做的事。结果：B 端客户周活只有几百，两周样本量不足以做结论。

期望得到的答案形态

• 可复用的"两周验证"框架：方法选择（影子/demo/埋点/组合）的决策树，以及每种方法在 B 端 SaaS 场景下的适用边界；
• 具体的成败指标与阈值：比如"demo 中用户 7 天内主动回访 ≥ 3 次且完成核心任务 ≥ 1 次才视为通过"，或者"影子模式与人工基准的 top-1 一致率 ≥ 75%"之类的可量化标准；
• 至少一两个你团队真实跑过的案例：用了哪种方法、阈值怎么定、两周后数据长什么样、最终拍板"继续"或"砍掉"的依据。

如果社区里有做过类似验证的 PM 或算法同学，欢迎把你的"两周验证 SOP"贴出来，我可以直接拿去团队内部用。