标准答案

  1. Temperature 会改变采样分布的尖锐程度。较低值更偏向高概率 Token,适合抽取、分类和结构化输出;较高值增加多样性,但也会增加跑题、格式错误和事实不稳定的概率。
  2. Top P 是 nucleus sampling,只在累计概率达到 P 的候选集合中采样。它和 Temperature 都会改变采样行为,通常选择一个作为主要调节旋钮,而不是同时大幅调整。
  3. 最大输出 Token 限制输出长度,停止词或 stop sequences 在匹配到指定序列时提前结束。它们都不能保证事实正确;生产配置还要依赖 Schema 校验、业务规则和评测集验证。

题目解析

确定性任务的第一步通常是降低随机性并固定 Prompt、模型版本和输入,而不是把所有采样参数设成极端值。某些模型并不支持所有参数,或者对参数含义有供应商差异,调用层应按模型能力校验。

Temperature 很低也不代表输出绝对相同。模型服务可能存在非确定性、并行执行、系统路由或后端升级;如果业务要求可复现,应同时记录模型版本、参数、输入、Prompt 版本和随机种子能力(若供应商支持)。

最大输出长度要按业务结果设置。例如分类只需短标签,代码生成需要考虑完整代码块和错误信息,长文生成则应采用分段或任务队列,不能只把上限设置得很大。

调参必须通过固定样本集比较质量、格式通过率、延迟和成本。单看一条展示效果好的回答,不能证明参数改变改善了系统。

代码示例

下面的配置体现确定性抽取任务与开放式生成任务的区别。参数名需要以实际供应商 SDK 的契约为准。

TypeScript
const extractionConfig = {
  temperature: 0,
  maxOutputTokens: 512,
  stop: ['</result>']
}

const creativeConfig = {
  temperature: 0.7,
  maxOutputTokens: 1200
}

常见误区

  • 把 Temperature 当成“模型智力”或“准确率开关”。它主要改变采样行为,不能替代更强模型、正确上下文和业务校验。
  • 同时把 Temperature 和 Top P 都调到很高,并据此判断模型不稳定。应固定一个参数,按评测结果逐步调整。
  • 把 stop 当作安全机制。停止词只能截断文本,不能防止模型调用危险工具或输出敏感内容。

作者信息