标准答案
- 召回看目标文档是否进入 Top K；排序看相关和权威片段是否靠前；上下文看传给模型的片段是否足够、重复少且权限正确。
- 生成看答案事实性、覆盖问题、拒绝无依据推断、引用存在和引用支持关系；同时记录 Token、延迟和检索成本。
- 按问题类型、文档版本、租户和语言分层比较，并保留候选结果和最终 Prompt，避免只看一个最终分数。
题目解析
Recall@K 高不代表上下文精确率高。召回很多无关片段可能让答案更差，因此要同时看候选质量和上下文预算。
权限错误是硬失败，不应被平均指标稀释。跨租户片段出现一次就应触发安全告警和阻断。
RAG 更新后要评测新旧文档共存、删除、冲突和引用版本，不能只测试新文档正常命中。
常见误区
- 只测最终答案，不保存检索候选。
- 只追求召回率，把所有片段都塞入上下文。
- 把权限过滤当成普通相关性指标。