标准答案

  1. 当任务需要学习分类边界、输出格式、术语映射或少量风格时,示例通常比抽象描述更有效;简单任务不必为了“看起来专业”增加示例。
  2. 每个示例应包含输入、期望输出和必要解释,覆盖正例、负例、空值、冲突和拒答情况,并避免放入真实个人信息或生产密钥。
  3. 示例要像代码一样评审、版本化和回归测试。新增示例如果改善一个场景却伤害另一个场景,应通过数据和指标决定是否接受,而不是凭感觉保留。

题目解析

Few-shot 不是把训练集塞进 Prompt。上下文窗口有限,示例过多会挤占用户输入和检索内容,还可能让模型过度模仿示例中的错误。

示例选择可以按语义相似度或任务类别动态选择,但动态选择本身也要监控,避免相似度检索把错误答案当成参考。高风险任务应使用固定的最小示例集和严格校验。

示例的偏见会成为产品偏见。例如只用一种语言、姓名或业务规模的样本,可能让模型在其他用户上分类错误。评测集要按用户群、语言和输入长度分层。

常见误区

  • 把真实用户对话直接复制成示例,没有脱敏和授权检查。
  • 用更多示例掩盖任务定义不清,导致 Prompt 越来越长。
  • 只测示例中的输入,未测试与示例相近但语义相反的输入。

作者信息