标准答案
- LLM Judge 可以按评分标准比较开放式答案、检查覆盖点和解释质量，降低大规模人工评审成本；它不适合独立判断权限、金额和安全关键事实。
- 评审 Prompt 要固定维度、证据、评分锚点和拒绝不确定的规则，尽量隐藏无关的模型身份和答案顺序，必要时多次评审。
- 用人工标注样本比较一致率、偏差和误判，抽查低置信、高风险和模型分歧案例；Judge 版本变化也要进入评测记录。
题目解析
Judge 可能偏好更长、更有条理或与自身表达相似的答案，即使事实并不更好。评分标准应要求逐条核对证据，而不是凭整体印象。
把生成模型和评审模型完全隔离不一定必要，但要知道共同错误来源。重要评测可使用规则、不同模型或人工复核交叉验证。
Judge 输出本身也要 Schema 校验，解析失败和低置信不能静默转成高分。
常见误区
- 把 LLM Judge 的分数当作客观真值。
- 只校准平均分，不看具体类别的误判。
- 让评审模型看到会引导它偏袒的模型名称或无关元数据。