标准答案

  1. 长上下文会增加 Token 成本和延迟,信息过多还可能让关键事实被无关内容淹没。模型即使接受了全部文本,也不代表能准确引用每一处。
  2. 裁剪时按任务优先级保留系统约束、当前用户目标、权威事实、最近相关历史和高分检索片段,删除重复、过期和与当前任务无关的内容。
  3. 排序时给模型清晰的分隔、来源和时间信息,并在调用前记录每类内容的 Token 占用。超过预算后按确定规则裁剪或摘要,不要随机删除。

题目解析

“最近”不一定等于“重要”。用户早先给出的订单号、约束条件和已确认事实可能比最近的闲聊更重要,应该通过结构化会话状态保存。

摘要会带来信息损失和错误传播。关键事实应保留原始结构化字段或来源,摘要只承担压缩叙述,不应成为唯一事实来源。

检索片段排序要结合相关性、权威性、新鲜度、权限和多样性。单纯按向量相似度取 Top K 可能返回多个重复片段或旧版本文档。

常见误区

  • 认为更大的上下文窗口一定更准确。容量和有效利用是两个问题。
  • 按字符数随意截断,可能截断 JSON、代码或关键业务条件。
  • 摘要后删除原始事实,没有保留来源和版本,导致无法追溯。

作者信息