标准答案
- 按租户、用户、任务和模型设置 Token、金额、请求和并发预算,提交前估算,执行中实时扣减或预留,结束后用供应商 usage 对账。
- 监控单位任务成本、重试率、Token 分布、模型占比和突增,按租户和任务类型告警,避免只看总账单。
- 超额时可以限制输出、排队、切换批准的模型、转异步或人工处理;降级要告知结果差异,不能静默降低质量或跨越数据政策。
题目解析
计费记录要防重复和补账,流式中断、重试和供应商账单延迟都可能造成估算与最终值不同。
异常用量可能来自循环、提示注入、缓存失效或账号滥用,应关联错误和安全事件调查,而不是只提高额度。
成本优化应优先减少无效上下文、重复调用和过长输出,再考虑更换模型或牺牲质量。
常见误区
- 只设置每月总预算,不限制单任务和重试。
- 用前端展示的 Token 估算直接计费。
- 超额后自动切到未经批准的供应商。