标准答案
- 先按任务要求筛选支持上下文、视觉、工具调用、结构化输出和语言的模型，再按租户区域、数据保留策略和供应商可用性过滤。
- 候选模型按质量、延迟、Token 价格、吞吐、配额和失败率排序，设置主路由、备用路由和不可跨区域的数据边界。
- 记录路由规则版本和实际模型，使用离线评测、灰度和线上指标持续校准；不能只看单价。
题目解析
小模型失败后重试大模型可能比直接使用大模型更贵。路由应计算失败成本、人工成本和用户等待，不只比较每 Token 价格。
区域和数据策略是硬约束。未经批准的跨境或第三方处理不能作为故障降级路径。
模型能力矩阵要定期更新，供应商参数和上下文限制变化时应阻止不兼容请求，而不是静默丢弃参数。
常见误区
- 把所有任务按流量平均分配给模型。
- 只看模型价格，不看质量、失败重试和数据策略。
- 降级时切到不支持工具或 Schema 的模型，却没有调整执行流程。