面试题：AI全栈
AI 全栈工程师岗位相关的 AI 应用开发、Agent 工作流、模型接入和产品落地面试准备。
为什么 AI 功能不能只用“看起来不错”做验收？
生成结果具有波动和长尾错误，验收必须把质量、边界、安全、成本和业务结果转成可重复的指标。
评测、质量与可观测性AI全栈中频题
如何建立覆盖正常输入、边界输入、拒答和安全问题的 Golden Set？
Golden Set 应来自真实任务分布与明确风险，不是随意写的十条示例；每条样本要有可执行的评测标准。
评测、质量与可观测性AI全栈中频题
精确匹配、语义相似度、事实正确性、引用正确性分别适合评测什么？
指标要匹配任务和错误类型，字符串相等适合结构化结果，开放回答需要事实、证据和人工规则组合。
评测、质量与可观测性AI全栈中频题
LLM-as-a-Judge 有什么价值和偏差，怎样用人工样本校准它？
评审模型适合扩大初筛，但存在位置、长度、风格和自偏好，必须用人工标注校准并避免把它当绝对真值。
评测、质量与可观测性AI全栈中频题
RAG 应分别评测召回、排序、上下文使用和最终答案的哪些指标？
RAG 评测要拆开检索链路和生成链路，否则最终答案变差时无法知道应改切片、排序还是 Prompt。
评测、质量与可观测性AI全栈中频题
如何区分 Prompt、模型、检索数据和业务代码导致的质量回归？
需要固定输入和版本，按链路逐层对比；没有实验记录时，“模型变差了”通常只是猜测。
评测、质量与可观测性AI全栈中频题
AI 产品应记录哪些 Token、延迟、错误、拒答、工具和用户反馈指标？
指标要覆盖成本、体验、可靠性、安全和业务结果，并能按模型、任务、租户和版本切分。
评测、质量与可观测性AI全栈中频题
线上日志如何在可排查性和隐私保护之间做取舍？
日志应保留定位所需的关联和结构化事实，减少完整内容，配合脱敏、权限、保留期限和受控取样。
评测、质量与可观测性AI全栈中频题
Prompt 或模型升级怎样做离线评测、灰度发布、A/B 对比和回滚？
升级应先固定样本和版本做离线比较，再以受控流量观察质量、成本、安全和业务指标，并保留一键回滚。
评测、质量与可观测性AI全栈中频题
面试中如何用质量、成本、延迟和业务转化四类指标说明 AI 功能是否成功？
成功不是单项指标最高，而是在明确业务任务和风险门槛后，证明用户获得了可持续的净价值。
评测、质量与可观测性AI全栈中频题