跳到主要内容

7.2 评测的坑：分数是怎么骗人的

一场两周就塌房的「霸榜」​

想象这样一条新闻（合成场景，但同类事件在业内反复真实上演）：某新模型发布，在知名数学榜上一举超越一众前辈，社区沸腾。两周后有人做了个实验——把考题里的数字换一换再测，分数暴跌十几个百分点。

真相浮出水面：这批考题（连同答案解析）早就散落在互联网各处，而互联网正是它的训练语料。模型不是「会做题」，是背过原题。

这一节盘点分数骗人的四种方式。它们不全是恶意造假——更多时候是评测体系本身的结构性漏洞。

坑一：数据污染——考题就在教材里​

数据污染是最普遍也最难根治的坑。预训练语料动辄十几万亿 token 的网页（4.1 节），而各大 benchmark 的考题和答案早就被论文、博客、教程贴得满互联网都是。4.1 节的去重和清洗工序能删掉一部分，但改写过、翻译过、夹在长文里的题目根本删不干净。

于是模型在「考试」时，可能只是在复述记忆。检测手段有几种：查训练集和考题的文字重叠（n-gram 匹配）、把题目换数字改写后重测（掉分多=背题嫌疑大）、用模型发布之后才出的新题考它——但这是猫鼠游戏，没有终极解法。

坑二：针对性刷榜——古德哈特定律​

就算考题本身没泄露，还可以在评测集的风格上下功夫：用相同题型、相同格式、相同答题套路的数据大量训练。分数暴涨，通用能力没涨——考试技巧拉满，学问没变。

经济学里的古德哈特定律精确描述了这件事：「当一个指标变成目标，它就不再是一个好指标。」

你应该觉得眼熟——这就是 5.4 节的奖励钻空子换了个主语：那里是模型钻奖励模型的空子（灌水、讨好），这里是厂商钻榜单的空子（刷题、过拟合考纲）。同构的问题，同构的教训：任何单一数字被全力优化时，它和真实目标就开始脱钩。

坑三：模型当裁判——裁判自己就有偏差​

开放式回答没有标准答案，请人打分又贵又慢，于是业界普遍用模型当裁判：把两个回答喂给一个强模型，让它判谁好。便宜、快、可复现——但裁判本身是个模型，自带三大实证偏差：

  • 长度偏差：系统性偏爱更长更详细的回答，哪怕内容答非所问；
  • 位置偏差：先出现的回答占便宜——同一对回答换个顺序，判决可能反转；
  • 自恋偏差：偏爱和自己文风相似的回答（用自家模型当裁判评自家模型，分数往往更好看）。

这些偏差和 5.3 节人类标注员的偏差一脉相承——毕竟裁判模型就是用人类偏好数据训练出来的，人的口味连同人的偏见一起被继承了。

坑四：分数高 ≠ 好用​

最后一个坑最朴素：考卷覆盖不了真实使用。benchmark 是几千道固定题目，而真实用户的需求是无穷长尾——改简历、哄孩子、调试祖传代码。一个 MMLU 88 分的模型完全可能在你的具体场景里不如 85 分的那个。Arena 类真人投票更接近体验，但投票人群的口味（偏爱某种语气、格式）同样是一种系统偏差。

本节不是「评测无用论」

恰恰相反：评测是大模型研发唯一的导航仪——没有它，连「变好了还是变坏了」都说不清。正确的姿势不是不信评测，而是不信任何单一评测：多张考卷交叉、自动评测与真人体验互补、榜单分数与自己上手实测对照。仪表有误差，但开车不能不看仪表。

小结​

本节要点
  • 数据污染：考题混进训练集，模型「背过」而非「会做」——检测靠重叠扫描、改写重测、新鲜考题。
  • 古德哈特定律贯穿全书：模型钻奖励空子（5.4）和厂商刷榜是同一件事——指标一旦成为目标就开始失真。
  • 模型裁判便宜好用，但自带长度、位置、自恋三大实证偏差，须用交换位置、多裁判集成等手段缓解。
  • 对抗所有坑的通用姿势：永远交叉验证，永远自己上手试。
📝 动手自测0/3
1. 把 GSM8K 考题「换数字重出一遍」再测，某模型分数暴跌 12 个百分点。这最能说明什么？
2. 「当一个指标变成目标，它就不再是好指标」——下面哪件事不是这条定律的例子？
3. 用模型当裁判评比两个回答时，把回答的先后顺序交换再评一次，是为了缓解哪种偏差？

延伸阅读​