7.3 你来当评委：亲手踩一遍评测的坑
纸上得来终觉浅
上一节说裁判有长度偏差、自信偏差——读的时候人人点头，觉得「我肯定不会上这种当」。
真的吗？这一节你亲自当三回裁判。规则和 Chatbot Arena 一模一样：同一个问题、两个匿名回答，你选出更好的那个。
认真做完 3 题再看揭晓页，也别偷看本节下文——先做题，再对答案，体验才作数：
你来当评委：3 道盲评题
两个匿名模型回答同一个问题，你来判定谁更好——这就是 Chatbot Arena 等竞技场榜单的玩法。做完 3 题再看揭晓：每道题都藏了一个「评测陷阱」。（回答为教学构造，不代表任何真实模型）
第 1 / 3 题
📋 考题：用一句话解释什么是光合作用。
对一下答案
做完了？三道题各藏了一个陷阱：
- 第 1 题考长度偏差：模型乙洋洋洒洒 300 字、内容全对，但题目明确要求「一句话」解释光合作用——它压根没理会指令。如果你选了乙，你就体验了裁判模型每天在犯的错：把「写得多」当成「答得好」。
- 第 2 题考自信偏差：模型乙热情澎湃、引经据典，但年份是错的（正确答案是公元前 221 年，朴素的甲才对）。流畅自信的文风会显著提升「看起来正确」的感觉——还记得 5.6 节说 RLHF 会让模型语气更自信吗？在评测端，这份自信同样能骗到分。
- 第 3 题没有正确答案：结构化建议（甲）对情绪安慰（乙），选哪个都不算「中招」。它演示的是文风偏好：把「有帮助」定义成可执行建议则甲赢，定义成情绪价值则乙赢——换一份评分标准就能换一个冠军。
同一套偏差，贯穿了整条链
现在把三章的线索串起来，这是全书最值得记住的洞察之一：
你刚才的直觉偏差 = 人类标注员的偏差（5.3 节）= 奖励模型学到的偏差（5.4 节）= LLM 裁判的偏差（7.2 节）。
它们不是四个问题，是同一个问题的四次出场：奖励模型从人类的偏好数据里学打分，LLM 裁判本身就是被这样对齐过的模型——人的口味连同人的偏见，被一路继承、放大、再用于评判。模型为什么会谄媚？榜单为什么会失真？答案是同一把钥匙：打分者偏爱什么，被打分者就会变成什么。
怎么当个好评委
职业标注员和评测工程师对抗这些偏差的土办法，日常判断信息时同样好用：
- 先定标准，再看答案——没定标准就开始读，第一印象（往往是文风）会替你做决定；
- 事实先行核对——先验证可查证的部分（年份、数字、代码能不能跑），再谈观感；
- 警惕流畅度光环——写得漂亮和说得对是两回事，对「热情自信」的回答加倍警觉；
- 问自己：换个顺序我还这么选吗——强制打破位置和先入为主。
这个游戏在哪里不准确？
只有 3 道题，而且答案是教学构造的、陷阱设计得比现实明显得多——现实中的偏差更隐蔽（比如两个回答都对，只是一个多了 15% 的字数）。真实评测里，一道题会请多位评委独立打分并统计一致性，单人单次的判断从不作数。另外「你中招了」不代表判断力差：这些偏差恰恰因为对聪明人也有效，才成为行业难题。
小结
本节要点
- 长度、自信、文风三大偏差对普通人、职业标注员、模型裁判一视同仁——知道≠免疫。
- 标注偏差 → 奖励模型偏差 → 模型行为（谄媚）→ 裁判偏差 → 榜单失真，是同一个问题的连续传导。
- 好评委的操作手册：先定标准、事实先核、警惕流畅度光环、换序自检；机构版则是多评委 + 双盲 + 位置随机化。
📝 动手自测0/3
1. 盲评游戏第 2 题里，「热情自信但年份写错」的回答容易骗到分，这对应哪种评测偏差？
2. 收集人类判断时，「比较两个回答谁更好」通常比「给每个回答打 1~10 分」更受青睐，主要原因是？
3. 为什么说「标注员的偏差」和「榜单的失真」是同一个问题？
延伸阅读
- Chatbot Arena——去投几票，为公开评测贡献真实数据（顺便检验你的评委修养）。
- 下一节 7.4 给自己的任务造一把尺子：读榜单的功夫到此为止——榜单答不了「它在我的场景里够不够用」，接下来三节教你造自己的尺子。