第 7 章 · 评测：怎么知道模型好不好
训练的时候，我们盯着损失曲线（2.3 节）——但用户不关心损失。用户关心的是：这个模型好不好用？比那个强吗？
这个听起来天经地义的问题，实际上是大模型领域最泥泞的问题之一：
- 考题会泄露——评测题混进训练集，模型是「背过原题」而不是「会做题」；
- 裁判有偏心——不管是人还是模型当评委，都偏爱更长、更自信、更漂亮的回答；
- 榜单能刷分——针对性优化几个热门基准，排名可以很好看，实际体验未必。
所以这一章分成两半。前半（7.1~7.3）给你一副读榜单的怀疑眼镜：知道每个分数是怎么来的、能信几分、坑在哪里。后半（7.4~7.6）教你造自己的尺子——因为榜单永远答不了那个你真正关心的问题：这个模型，在我的场景里，够不够用？
| 小节 | 你会获得的直觉 | 实验 |
|---|---|---|
| 7.1 Benchmark 动物园 | MMLU、GSM8K、HumanEval……各测什么、怎么打分 | — |
| 7.2 评测的坑 | 数据污染、刷榜、裁判偏差——分数失真的三大来源 | — |
| 7.3 你来当评委 | 亲手盲评三题，踩一踩长度、自信、文风三个陷阱 | 🎮 盲评小游戏 |
| 7.4 给自己的任务造一把尺子 | 第一步不是写评测器，是逐条读数据 | 🎮 错误分析实操 |
| 7.5 把打分交给模型 | 裁判能省几个数量级的钱，但它自己也要先被考一次 | — |
| 7.6 分数的误差棒 | 评测是抽样不是测量：72 分和 75 分可能没差别 | 🎮 误差棒计算器 |
| 小结与自测 | 全章要点回顾 + 综合自测 | 📝 |