标准答案

  1. 按租户、用户、任务和模型设置 Token、金额、请求和并发预算,提交前估算,执行中实时扣减或预留,结束后用供应商 usage 对账。
  2. 监控单位任务成本、重试率、Token 分布、模型占比和突增,按租户和任务类型告警,避免只看总账单。
  3. 超额时可以限制输出、排队、切换批准的模型、转异步或人工处理;降级要告知结果差异,不能静默降低质量或跨越数据政策。

题目解析

计费记录要防重复和补账,流式中断、重试和供应商账单延迟都可能造成估算与最终值不同。

异常用量可能来自循环、提示注入、缓存失效或账号滥用,应关联错误和安全事件调查,而不是只提高额度。

成本优化应优先减少无效上下文、重复调用和过长输出,再考虑更换模型或牺牲质量。

常见误区

  • 只设置每月总预算,不限制单任务和重试。
  • 用前端展示的 Token 估算直接计费。
  • 超额后自动切到未经批准的供应商。

作者信息