标准答案
- 成本通常按输入 Token 和输出 Token 分别乘以对应单价，再加上缓存、工具、Embedding 或供应商附加费用。输入应包含系统 Prompt、历史、检索片段和工具结果。
- 延迟至少分为排队时间、连接时间、首 Token 时间、生成时间和后处理时间。流式接口应同时看首字延迟与完整响应延迟。
- 并发容量要用请求到达率、平均/尾部输出 Token、模型吞吐、最大并发、限流和队列等待估算，并通过压测和真实分布验证。高峰成本还要考虑重试和长任务积压。
题目解析
平均值会掩盖长尾。一个回答平均 300 Token，但 P99 达到 3000 Token 时，容量和成本都应按尾部分布做预算。对话产品还要估计历史增长带来的输入 Token 上升。
模型供应商的价格、上下文缓存和批处理规则可能变化，价格应配置化并记录估算版本。账单对账应以供应商返回的 usage 或账单明细为准。
容量估算不能只除以平均响应时间。模型生成常受输出 Token 速率限制，队列、连接池、网关超时和租户配额也会成为瓶颈。
成本优化有顺序：减少无效上下文和重复请求，控制输出，选择合适模型，使用缓存或批处理，最后再考虑更复杂的自托管。降低模型质量换成本前要先看业务成功指标。
常见误区
- 只按用户输入字符数估算费用，忽略系统 Prompt、历史、检索和输出。
- 用一次请求的耗时推算并发能力，没有压测限流、队列和 P99。
- 为了省钱无条件使用小模型。应先确认任务质量、错误补偿和人工成本是否可接受。