PM实践

LLM 应用没有线上 A/B：评测集分层采样 + 指标三件套 + 灰度验收，一套可复现的离线达标判定流程 «一句话结论：LLM 应用验收扯皮的根因不是"研发嘴硬"或"业务方感性"，而是双方各自拿着一把口径不同的尺子。把"效果达标"拆成 40

背景： 我做了 3 年技术产品经理，最近半年团队密集做 LLM 应用（智能摘要、对话式搜索、工单自动分类）。每次上线前，业务方和研发对"算不算做好了"的理解完全对不齐——研发说"准确率 90% 了"，业务方说"用起来感觉没变好"，最后靠拍脑

先说背景。 做了 10 年技术 PM，带过 3 个 6~15 人的后端团队。我越来越注意到一个趋势：需求评审会越开越短、越开越"形式化"。 过去我主持的评审会动辄 1 小时，每个需求都要过"为什么做 → 用户场景 → 不做的代价 → 技术方