标准答案
- 显存要容纳模型权重、KV Cache、运行时和并发请求；上下文越长、并发越高，KV Cache 需求越大，可能成为瓶颈。
- CPU 负责网络、分词、预处理和部分调度，GPU 负责主要推理；批处理提高吞吐但可能增加等待和单请求延迟。
- 容量要通过目标模型、输入输出分布和 P95/P99 延迟压测，观察吞吐、显存、队列、错误和降级，而不是仅用峰值 FLOPS 推算。
题目解析
短请求和长上下文的容量不同，平均 Token 会掩盖长尾。应按任务类型分池或限制最大上下文和输出。
动态批处理需要在吞吐与首 Token 延迟之间取舍，交互式聊天和离线批量任务不应使用同一调度目标。
扩容前先排查 Token 预算、连接池、队列和下游限流，否则增加 GPU 可能只把压力推向下一层。
常见误区
- 只按模型参数量判断显存和容量。
- 批量越大越好，忽略交互延迟和 OOM。
- 只压测短输入，不测长上下文、并发和错误重试。