标准答案
- 先描述原任务和可观察失败,例如 JSON 通过率低、引用缺失、误触发工具或拒答不一致;固定模型、参数和数据,建立改写前基线。
- 改写只改变一个主要变量,例如明确输出 Schema、补充否定样本或调整上下文顺序,再用分层样本比较准确率、格式通过率、延迟和成本。
- 最后说明回归样本、未解决问题和上线控制方式。一个可信案例不需要宣称所有指标都提升,而要解释质量与成本、长度或覆盖范围的取舍。
题目解析
“效果好”必须对应业务指标。客服场景可以看正确转人工率和解决率,抽取场景看字段准确率和人工修订率,Agent 场景看任务成功率和危险动作拦截率。
评测样本不能只选改写者熟悉的成功案例。要保留失败样本、对抗输入和边界条件,并防止把评测集泄露进 Prompt。
如果改动同时换了模型、检索数据和 Prompt,就无法说明收益来源。面试回答应明确实验变量和控制条件。
常见误区
- 只展示一条前后对比,没有数量、指标和失败样本。
- 把模型升级带来的收益归因于 Prompt 改写。
- 只追求答案更长或更像人,没有检查事实、权限和业务结果。