第 7 章 · 小结与自测
全章鸟瞰
评测没有单一的可靠仪器，只有三类各有短板的手段互相补位——中间还蹲着三只拦路虎：
前半场讲怎么读别人的成绩单：先认识考卷（7.1：每张 benchmark 各考一面，打分方式决定客观程度，考卷会饱和），再认清水分（7.2：数据污染让模型「背题」、古德哈特定律让刷榜必然发生、模型裁判自带三大偏差），最后亲身上阵（7.3：你的直觉偏差和标注员、奖励模型、LLM 裁判的偏差是同一个问题的四次出场）。
后半场讲怎么造自己的尺子：第一步反直觉——不是定指标写脚本，而是逐条读日志做错误分析，因为真正的失败大头几乎总 和直觉猜的不一样；而且标准不是想出来的、是读数据时看出来的（7.4 的标准漂移）。人工读不可持续，于是请模型当裁判，但它认「好」很准、抓「错」很差，上岗前必须拿人工标注校准一次（7.5）。最后，任何分数都是抽样的结果：100 题的置信区间约 ±9 个百分点，别为 3 分的波动开会——配对设计能白赚三分之一的精度（7.6）。
要点回顾
| 小节 | 两行要点 |
|---|---|
| 7.1 Benchmark 动物园 | 没有统一高考，只有几十张各考各的卷子；代码题判分最硬、开放对话最主观。考卷会被「考满」（饱和），榜单只是时间切片。 |
| 7.2 评测的坑 | 污染=背题、刷榜=古德哈特定律、模型裁判=有偏差的镜子。对策：改写重测、新鲜考题、交换位置、多裁判集成、交叉验证。 |
| 7.3 你来当评委 | 长度、自信、文风偏差对所有打分者一视同仁；「打分者偏爱什么，被打分者就变成什么」贯穿对齐与评测全链条。 |
| 7.4 造自己的尺子 | 第一步是逐条读数据做错误分析，不是写评测器；失败大头常和直觉相反；标准漂移意味着标准必然要迭代；能用代码断言就别用模型，能二元就别打分。 |
| 7.5 模型 当裁判 | 与人类一致率 >80%，但有位置/长度/自我偏好三个系统性偏见；最致命的是认「好」准（>95%）、抓「错」差（30%~60%）。用前必须校准，且要留没调过的样本验收。 |
| 7.6 分数的误差棒 | 评测是抽样：100 题约 ±9 个百分点，1000 题仍判不出 3 分差距；配对设计白赚三分之一精度；题目成组会让误差棒虚假地变窄。 |
综合自测
📝 动手自测0/6
1. MMLU 和 HumanEval 分别主要考察什么？
2. 「benchmark 饱和」带来的直接后果是什么？
3. 数据污染让分数失真的机制是？
4. 古德哈特定律「指标一旦成为目标就不再是好指标」，在本书中的两次典型出场是？
5. 下面哪一项 不是「模型当裁判」的三大实证偏差之一？
6. 收集人类评审时更推荐「两两比较」而非「打绝对分」，因为？
下一站
评完了当下，最后一章看向前方：第 8 章 · 前沿与全景——MoE 怎么让万亿参数只付百亿账单、上下文怎么从 4K 卷到百万、图像怎么变成 token、以及「多想一会儿」的推理模型是怎么训练出来的。终点还有一张收束全书的全景大图等你下载。