跳到主要内容

7.1 Benchmark 动物园：每张考卷考什么

人人都在「霸榜」​

看过大模型发布会的人都有这个感觉：每一家都在「霸榜」。这家「多项基准超越竞品」，那家「刷新开源纪录」——听起来谁都是第一。

这不全是吹牛，玄机在于：榜和榜完全不是一回事。大模型没有统一的「高考」，只有几十张各考各的卷子。想看懂任何一张成绩单，你得先认识这些考卷本身——它考什么、怎么打分、多难。

六张经典考卷​

下面是教学上最常被引用的几张（各标提出年份，注意它们如今的「服役状态」差别很大）：

考卷年份考什么形式一句点评
MMLU202057 个学科的知识广度（历史、法律、医学、数学……）四选一选择题曾经的「智商通用标尺」，如今头部模型接近考满
GSM8K2021小学应用题级别的算术推理写过程算答案「鸡兔同笼」题库，检验一步步算数的能力
MATH2021竞赛数学（代数、几何、数论）写过程算答案GSM8K 的困难版，推理模型的主战场之一
HumanEval2021按注释写 Python 函数代码跑测试用例判分最客观：代码过不过测试，没得争
Chatbot Arena2023真实用户的综合体验真人盲评投票，算 Elo 分最接近「用起来爽不爽」，但受大众口味影响
IFEval2023指令遵循（「写 300 字以内」「用三个要点」）规则自动检查专治「答非所问」，能自动验证

打分方式值得多看一眼，因为它决定了分数的「客观程度」：

  • 选择题类（MMLU）：答案就一个字母，精确匹配就能判分，便宜大批量；
  • 代码类（HumanEval）：生成的函数直接跑测试用例，过了就是过了——这是所有考卷里最客观的一类，也是它后来被推理强化学习（5.5 节的 RLVR）选中当奖励来源的原因；
  • 开放对话类（Arena）：没有标准答案，只能靠人（或模型）投票——最贴近体验，也最主观。

考卷的宿命：被考满​

Benchmark 有个尴尬的宿命：模型进步得比出卷快。

MMLU 刚提出时（2020 年），当时的模型比乱猜好不了太多；到 2024 年，头部模型已经考到 88% 以上——逼近了考卷本身的错误率上限（人工标注的题目里本来就有几个百分点的错题）。一张卷子一旦被「考满」，它就再也区分不出谁更强了，这叫饱和。

于是出卷人只能不断加码：GPQA（2023 年，研究生级别、连搜索引擎都帮不上忙的「防谷歌」难题）、HLE（2025 年，号称「人类最后的考试」）……评测是一个移动的靶子：今天的神卷，两年后就是送分题。你看到的任何榜单，都只是某个时间切片上的排名。

「榜单第一」的三连问

下次看到「第一」，先问三个问题：哪张卷？（MMLU 第一和 Arena 第一含金量完全不同）几发提示？（0-shot 还是 5-shot——先给几个例题再作答，分数可差好几个点）谁打的分？（规则自动判、模型判、还是真人投票）。同一个模型在不同评测配置下的分数可以差出好几个百分点——不注明配置的分数对比，参考价值有限。另外，本节只列了教学常见款，2026 年实际在用的考卷比这多得多，且迭代极快。

小结​

本节要点
  • 大模型没有统一「高考」，只有几十张各考各的卷子：知识（MMLU）、推理（GSM8K/MATH）、代码（HumanEval）、体验（Arena）各测一面。
  • 打分方式决定客观程度：代码跑测试最硬，选择题居中，开放对话最主观。
  • 考卷会「饱和」：头部模型逼近满分后，卷子就失去区分度，只能不断出更难的新卷——榜单永远是时间切片。
📝 动手自测0/3
1. 想比较两个模型「写代码」的真实水平，下面哪张考卷的分数最难掺水？
2. 「MMLU 已经饱和」是什么意思？
3. 同一个模型在同一张考卷上，两家机构测出的分数差了 4 个百分点。最可能的原因是？

延伸阅读​