标准答案
- “看起来不错”只代表少量样本的主观感受，无法覆盖幻觉、拒答、格式错误、提示注入、长尾语言和模型升级回归。
- 验收应建立代表性样本，定义事实正确、引用、结构化通过率、安全拦截、延迟、成本和人工修订等指标，并明确最低门槛。
- 离线评测、人工抽样和线上业务指标要结合：离线适合回归，人工适合复杂判断，线上指标验证真实用户是否完成任务。
题目解析
不同任务的正确性定义不同。摘要可以看事实覆盖和冗余，抽取看字段准确率，Agent 看任务完成和危险动作，不能用一个总分覆盖所有场景。
平均分会掩盖高风险失败。权限泄露、错误金额和危险工具调用应单独设硬门槛，即使总体评分很高也不能接受。
验收集要冻结版本并防止泄露到 Prompt。样本来源、标注规则和评审者一致性也影响结论。
常见误区
- 只展示几条人工挑选的成功案例。
- 用用户点赞数直接代表事实正确率。
- 只看平均分，没有安全和关键业务失败门槛。