LLM应用

LLM 应用没有线上 A/B：评测集分层采样 + 指标三件套 + 灰度验收，一套可复现的离线达标判定流程 «一句话结论：LLM 应用验收扯皮的根因不是"研发嘴硬"或"业务方感性"，而是双方各自拿着一把口径不同的尺子。把"效果达标"拆成 40

背景： 我做了 3 年技术产品经理，最近半年团队密集做 LLM 应用（智能摘要、对话式搜索、工单自动分类）。每次上线前，业务方和研发对"算不算做好了"的理解完全对不齐——研发说"准确率 90% 了"，业务方说"用起来感觉没变好"，最后靠拍脑

背景 我做了 5 年技术产品经理，最近半年团队密集做 AI 功能（LLM 应用、智能摘要、对话式搜索）。立项会上我越来越常听到两种声音： - 工程师说："你连 prompt 长什么样、token 怎么算、什么场景该走 RAG 什么场景该走微