标准答案
- 静态检查模板变量、Schema、工具白名单和配置；单元测试覆盖 Token 预算、错误分类、权限、幂等、流式事件和状态机。
- 使用固定模型或模拟响应跑 Golden Set、RAG 召回、引用、格式和成本回归；供应商真实调用放在受控集成环境。
- 安全流水线加入注入、越权、XSS、SSRF、恶意文件和密钥扫描，并在发布前检查环境、区域、配额和回滚配置。
题目解析
生成式测试不必要求每个答案字符串完全相同，但要有结构、事实、禁止行为和成本门槛。
模型和 Prompt 变更应产生评测报告，无法接受时阻断或进入人工审批；测试结果记录版本。
CI 里的测试数据不能包含真实敏感信息，测试账号和模型 Key 要有范围与生命周期。
常见误区
- 只跑 TypeScript 和接口单元测试。
- 把所有生成结果做严格字符串相等，导致测试无意义。
- 在 CI 中使用生产密钥和真实用户数据。