跳到主要内容

7.5 把打分交给模型（但先考它一次）

人工判分撑不到第三轮​

7.4 节让你读了 12 条。真做起来，第一轮错误分析要读 100 条。

问题是评测不是一次性的：改一版提示词要重跑、换一个模型要重跑、上线前回归要重跑。每次改动都请人读 100 条，团队会在第三轮之前就放弃。

于是很自然地想到：让模型来打分。这就是 7.3 节你亲自干过的活儿——只不过换模型来干。

好消息是它真的能干。在 MT-Bench 这类对话评测上，强模型当裁判与人类专家的一致率超过 80%，和人类专家彼此之间的一致率处在同一水平（2023 年的经典对照研究）。成本则相差好几个数量级——人工判一条要几十秒，模型判一条不到一分钱。

坏消息是，那 20% 不一致不是随机分布的。

模型裁判的三个偏见​

还记得 7.3 那个游戏让你踩的三个坑吗？长度、自信、文风。模型裁判踩得一个不少，而且有量化数据（均出自 2023 年的系统实验，具体数值随模型版本变化，但方向高度稳定）：

  • 位置偏见。 同样两个答案，只是交换先后顺序，判断就会翻转——不同模型的翻转率在 50%~70% 之间。也就是说，「谁排在前面」这个和内容毫无关系的因素，几乎能左右一半的判断。
  • 长度偏见。 把一个答案人为拉长（不增加任何实质内容），裁判偏向它的概率超过 90%。这与 5.3 节讲的人类标注偏差是同一个毛病——毕竟裁判是人类偏好训出来的，它把这个偏好一起学走了。
  • 自我偏好。 裁判倾向于给自己生成的答案打高分，实验里的胜率虚高幅度在 10%~25% 之间。所以拿 A 模型当裁判去评 A 和 B 谁更好，结论天然有利于 A。

前两个有直接的工程解法：位置偏见把两个顺序各跑一遍，只有两次结论一致才算数（不一致的就判平局）；长度偏见在裁判提示里明确写「长度不是加分项」，并在数据上做长度分层检查。自我偏好则要靠换一个模型家族当裁判。

最要命的一条：它擅长确认，不擅长挑错​

上面三个偏见都算好办的。真正会让人栽跟头的是这一条：

模型裁判认「好」很准，抓「错」很差。

一项针对摘要事实一致性的实验给出了这组对照：裁判能识别出 超过 95% 的「确实一致」的摘要——看起来准确率很高；但对「存在事实错误」的摘要，它只揪出了 30%~60%。

翻译成人话：近一半的真实故障，会被你的模型裁判判为「通过」。

这直接解释了一个常见的困惑——「我们的评测分数一直是 92 分，可用户还在投诉」。因为那 8 分不是全部的问题，它只是裁判碰巧抓到的那部分问题。

想想 7.4 实验里的第 4 条：数字被从 600 改成了 800，答案读起来完美通顺。让一个模型去判它——它凭什么发现？它又没去核对原文。你自己漏掉的那类失败，模型裁判大概率也漏掉。

这个类比在哪里不准确？

把模型裁判说成「请了个廉价的助教」，容易让人以为它只是能力差一点的人类——多请几个、取个平均就行了。

不是这样。人类标注者的错误多少是独立的，所以多人投票能相互抵消；而同一个模型裁判跑十遍，犯的是同一个错——它的盲区是系统性的，不是随机的。跑十遍平均只会让你对一个错误答案更有信心。

更麻烦的是盲区相关：当被评的模型和当裁判的模型来自同一个家族时，它们的知识缺口、推理弱点高度重合。裁判看不出被评者的错，恰恰因为它自己也会犯那个错。所以「用最强的模型当裁判」并不能自动解决问题——如果你评的也是它自己，那是让考生批自己的卷子。

所以：裁判上岗前，先考它一次​

结论很清楚——模型裁判不是免费的，它自己就是一个需要被评测的组件。

流程和你评测任何模型一样：

第一步，出一套考卷。 从 7.4 的错误分析里挑出 100~200 条已经人工标好「通过 / 不通过」的样本。注意要刻意保证失败样本的比例：如果你的系统 90% 是正常的，随机抽 100 条只有 10 条失败，根本量不出裁判抓错的能力。

第二步，让裁判考这套卷，看两个数——不是看「准确率」，准确率会被样本不平衡骗到：

  • 抓错率（真实失败中，裁判判为失败的比例）：这是最关键的一个数，前面那 30%~60% 说的就是它；
  • 误报率（正常样本中，裁判判为失败的比例）：太高的话你的团队会被无效告警淹没，很快就不看了。

第三步，改裁判的提示词，重考。 常见的有效改动：把判据拆成几个具体的二元问题（而不是笼统问「好不好」）、把几条人工标注的边界样本作为例子写进提示、明确写出「不算失败」的情形。

第四步，留一套没用过的题当期末考。 用来改提示词的那批样本，最后的分数一定是虚高的——你等于是照着答案调的。必须留一批从没参与过调优的样本做最终验收。这和 2.6 节的训练集/验证集是同一个道理，也是 7.2 节数据污染的同一件事换了个场景。

第五步，定期重考。 裁判用的模型会升级、你的业务会变、失败模式会漂移。业界的做法是每月重新抽一批人工标注，检查裁判有没有跑偏。

一句话总结这一节：模型裁判是一个测量仪器，而任何测量仪器在用之前都要先标定。

本节要点
  • 模型裁判能把评测成本降几个数量级，在对话类任务上与人类专家的一致率超过 80%（与人类彼此之间相当）。
  • 三个有规律的偏见：位置（交换顺序，50%~70% 会翻转）、长度（拉长即偏爱，>90%）、自我偏好（给自己家的答案虚高 10%~25%）。前两个可以靠「双向各跑一遍」和提示词约束缓解，第三个要换裁判家族。
  • 最危险的一条：裁判认「好」很准（>95%），抓「错」很差（30%~60%）——近一半真实故障会被判为通过。
  • 裁判的错误是系统性的，不像人类那样能靠多人投票抵消；同家族模型的盲区还高度重合。
  • 所以裁判上岗前必须校准：100~200 条人工标注 → 量抓错率/误报率 → 改提示重考 → 留一批没用过的样本做最终验收 → 定期重考。
📝 动手自测0/3
1. 关于模型裁判最危险的一个特性是什么？
2. 为什么模型裁判的错误不能靠「多跑几遍取平均」来消除？
3. 校准好裁判后，为什么还要留一批「从没参与过调优」的样本？

延伸阅读​