标准答案
- 先把问题拆成可验证结论，检查金标准文档是否被召回、位置是否靠前、权限和版本是否正确；没召回是检索链路问题。
- 如果证据已在上下文中，再检查切片是否完整、多个来源是否冲突、Prompt 是否要求基于证据回答，以及模型是否引用了无关内容。
- 最终用带答案和来源的评测集分别测召回、上下文精确率、事实正确性和引用正确性，并保存检索候选和最终 Prompt 以便复现。
题目解析
“相关”不等于“支持”。一段介绍产品功能的文档可能与问题主题相近，却没有回答版本限制；重排序和引用检查要关注支持关系。
上下文冲突时，模型可能选择更靠前、措辞更肯定或更熟悉的片段。应标注版本和日期，明确冲突处理规则，必要时让系统返回需要确认而不是强行合并。
答案生成评测不能只用 LLM Judge。对于金额、版本、权限和引用，应结合规则、数据库和人工抽样，避免评审模型也被错误证据影响。
常见误区
- 只看 Top K 里有关键词，就认为检索成功。
- 把所有错误都归因于模型幻觉，没有保存召回结果。
- 发现证据冲突时让模型自行“综合”，没有版本和权威性规则。