标准答案
- 先用同一模型、同一上下文和同一 Prompt 重现，再逐个替换 Prompt、模型、检索结果、解析器和业务规则，定位首次出现差异的层。
- 保存每层的输入输出摘要、版本、指标和失败样本，区分召回缺失、上下文污染、生成事实错误、解析失败和页面展示错误。
- 修复后把案例加入分层 Golden Set，并做离线回归和小流量验证；不能只看新样本变好就结束。
题目解析
供应商别名可能在不改代码时改变实际模型，路由和模型版本必须记录。
数据更新也会造成质量回归。需要比较文档版本、索引任务状态和权限过滤，而不只是比较 Prompt 文本。
业务代码可能把正确模型输出截断、错误解析或错误展示，端到端截图和结构化日志能帮助排除这一层。
常见误区
- 没有保存请求上下文，直接凭感觉归因于模型。
- 一次实验同时改模型、Prompt 和检索参数。
- 只看总体平均分，不看回归发生在哪些任务类型。