标准答案
- 先按任务类型、用户群、语言、长度、数据来源和风险等级分层，再加入正常、空值、歧义、冲突、过期资料、恶意输入和已知失败样本。
- 每条样本保存输入、必要上下文或来源、期望结论、允许变体、禁止行为、引用要求和标注说明；涉及敏感信息时使用脱敏或合成数据。
- 样本应版本化、评审和定期更新，模型、Prompt、检索或安全问题修复后加入回归案例，并保留变更原因。
题目解析
期望答案不一定是唯一字符串。开放式回答可以用事实断言、必须包含/不能包含、来源和人工评分标准表达。
样本分布要区分开发集、评测集和上线监控集，避免反复调 Prompt 直到只适配一套题。
安全样本要覆盖直接注入、间接注入、越权请求、敏感信息提取和工具滥用，而不是只测一句“忽略之前指令”。
常见误区
- 只收集正常成功输入，忽略失败和拒答。
- Golden Set 直接包含生产个人数据，没有脱敏和访问控制。
- 每次修改都替换旧样本，失去历史回归能力。