标准答案
- 冻结 Golden Set、模型路由、工具模拟结果和评测规则，比较候选版本与基线的质量、格式、拒答、安全、延迟和成本。
- 灰度按任务、租户或流量分组，监控错误、人工修改、任务完成和高风险事件；A/B 要避免组间上下文和用户群差异造成误判。
- 发布记录包含 Prompt、模型、解析器、检索和配置版本，异常时回滚完整组合，并把线上失败样本加入回归集。
题目解析
离线评测不能替代线上观察，线上也不能用来试探高风险安全边界。敏感任务应使用脱敏样本和更严格审批。
统计显著性和样本量要匹配业务指标，短期点赞波动不能证明质量改善。
回滚不仅是切换模型别名，还要恢复不兼容的输出 Schema、Prompt 变量和工具协议。
常见误区
- 直接在全量生产流量上升级。
- 只比较答案文本，不比较成本、延迟和安全事件。
- 发布后没有保存基线和回滚配置。