标准答案
- 租户配额限制周期 Token、金额、请求数和并发；用户和任务限制单次预算、步数和输出长度；供应商限流控制全局和模型级 QPS。
- 计数需要幂等调用 ID、预留与结算状态，流式调用在结束时用最终 usage 校准；超额时排队、拒绝或降级必须可解释。
- 限流状态和租户边界要贯穿 API、队列、模型网关和缓存，不能只在入口做一次检查。
题目解析
并发限制和速率限制不同：并发控制同时运行多少任务，速率控制一段时间内发起多少请求。长生成会长期占用并发槽。
重试应计入预算，否则失败越多消耗越大。配额服务自身故障时要有保守的 fail-closed 或受限降级策略。
多租户计费要区分平台成本和用户可见用量，保存估算、最终 usage 和调整记录，便于对账。
常见误区
- 只按 API 请求数限流，不限制 Token 和长任务并发。
- 在多个实例本地计数，导致全局配额失真。
- 重试和流式事件重复扣费。