标准答案
- 成本与容量看输入/输出 Token、缓存命中、请求量、并发、队列等待、供应商费用和重试 Token；体验看首 Token、完整响应 P50/P95/P99。
- 可靠性看超时、限流、解析失败、工具失败、取消、降级、人工接管和最终任务成功率；安全看拒答、注入拦截、越权尝试和敏感输出事件。
- 质量与业务看事实/引用评测、用户反馈、人工修改率、任务完成率和转化，但要避免把用户行为直接当成正确性。
题目解析
所有指标都应关联模型、Prompt、路由和版本；否则只能看到系统变差，却不能定位变更。
日志和指标要做数据最小化，正文可用哈希、类别、长度和来源 ID 代替；采样不能漏掉安全和高风险失败。
指标需要定义成功口径。例如“返回 200”不等于 AI 任务成功，工具流程完成且业务状态正确才算成功。
常见误区
- 只看接口成功率和平均延迟。
- 把点赞率当成事实正确率。
- 记录完整对话到指标标签，造成高基数和隐私泄露。