LLM 功能上线后怎么判定"效果达标"：没有流量做 A/B，验收指标到底怎么定才不扯皮

背景： 我做了 3 年技术产品经理，最近半年团队密集做 LLM 应用（智能摘要、对话式搜索、工单自动分类）。每次上线前，业务方和研发对"算不算做好了"的理解完全对不齐——研发说"准确率 90% 了"，业务方说"用起来感觉没变好"，最后靠拍脑袋验收。

现象： 最典型的卡点是**"效果达标"没有一个大家认的量化口径**。摘要功能上线，研发拿 BLEU/ROUGE 打分，但这两个指标对中文长文本基本不反映真实质量；改成人工抽检，一次要拉 50~100 条样本，成本高、口径还不统一（不同评审人打分能差 10 个点）。对话式搜索更麻烦，没有线上流量做 A/B，只能靠 demo 演示，demo 永远是挑出来的好 case。

已尝试的排查与结果：

1. 用 BLEU/ROUGE 自动评测——中文长摘要分数波动大，和业务体感相关性弱，弃用；
2. 人工盲评打分——做了两轮，但评分表里"准确性/完整性/流畅度"三项，不同评审人给的权重和标准不一致，同一批样本两次评分差 8~12 分；
3. 拉线上日志做离线回放——日志里的真实 query 分布和 demo case 差很远，拿 demo 指标外推到线上不靠谱。

期望得到的答案形态：

• 一套可落地的评测集构建方法：样本从哪采（真实日志？黄金集？对抗样本？）、规模多少才够、怎么标注口径统一；
• 指标怎么组合：自动指标 + 人工评测 + 离线回放，各占什么角色、怎么加权成一个能对上业务目标的"达标线"；
• 没有 A/B 流量时，怎么用离线指标 + 灰度小流量给出一个业务方和研发都认的验收结论；
• 最好能给个踩坑清单：哪些指标看着好看但实际会骗人。