第 5 章 · 小结与自测
全章鸟瞰
一段话串起整章：第 4 章烧出来的基座模型只会「把最像的文本接下去」（5.1），于是先用几万份「问题 + 完美回答」给它上示范课（5.2 SFT，损失只算回答部分）；示范教得会格式、教不会分寸，所以请几十万人做「哪个回答更好」的比较标注，训练出会打分的奖励模型（5.3——判断比创作容易，这是 RLHF 的全部杠杆）；拿着裁判做强化学习时，必须用 KL 橡皮筋拴住模型防止它钻裁判的空子（5.4 PPO），嫌贵可以走捷径——DPO 直接从偏好学、GRPO 用组内比较省掉价值模型（5.5）；而数学和代码的「答案可自动验证」催生了 RLVR：奖励只认对错，模型自发学会多想一会儿，这就是推理模型（5.5）。流水线尽头，幻觉、谄媚、拒答边界、越狱四个问题依然无解——它们划出了对齐的边界，也划出了正确使用大模型的边界（5.6）。最后三节把这条流水线从大厂搬回你自己的桌上：微调吃显存的大头是梯度与优化器状态（约 16 字节/参数），LoRA 冻结底座、只训一张低秩便利贴，把可训练参数砍掉三个数量级（5.7）；QLoRA 再把冻结的底座量化到 4 位，让 65B 的微调塞进一张卡（5.8）；但在动手之前先过一遍那道阶梯——微调改的是「怎么说」，不是「知道什么」，要补事实该走 RAG（5.9）。
要点回顾
| 小节 | 两行要点 |
|---|---|
| 5.1 基座模型 | base 模型是接话茬选手：问它问题，它可能续写出十个问题。不是不知道，是没人教过它「要回答」。 |
| 5.2 SFT | 用示范数据教对话格式；损失只算 assistant 部分（loss mask）。示范教格式，教不了分寸。 |
| 5.3 RLHF | 「选哪个更好」比「写出完美回答」容易一万倍；几十万条比较 → 奖励模型 → 往高分方向调。 |
| 5.4 PPO | 裁判有漏洞就会被钻（reward hacking）；KL 惩罚拴住模型，PPO 保证每步别迈太大——代价是四模型马戏团。 |
| 5.5 DPO / GRPO / RLVR | DPO 一步监督学习替代两步；GRPO 组内比较省价值模型；RLVR 用对错当奖励，推理能力自己长出来。 |
| 5.6 对齐的边界 | 幻觉治不断根、谄媚源自标注偏差、拒答边界是价值判断、越狱说明知识还在——了解边界才会正确使用。 |
| 5.7 LoRA | 显存大头是梯度 + 优化器状态（16 字节/参数）；冻结底座只训低秩便利贴，压到 2 字节/参数 + 一点点，训完可合并、可热插拔。 |
| 5.8 QLoRA | 只读的底座压到 4 位（NF4）、可训练的 便利贴保持 16 位；65B 微调塞进一张卡，代价是慢 20%~40%。 |
| 5.9 PEFT 与选型 | LoRA 赢在可合并、不占上下文；微调改「怎么说」不改「知道什么」，补事实请走 RAG；先建评测集再动手。 |
| 5.10 数据怎么造 | 人写（定义什么叫好）/ 蒸馏（天花板是老师）/ 拒绝采样（主力：采 N 份挑最好的回炉，把「判断比创作容易」用第二次）。它提升的是稳定性不是知识，且完全架在尺子上——尺子不准时 N 越大越糟。数据飞轮让生产日志定向回流。 |
综合自测
📝 动手自测0/6
1. 给基座模型输入「中国的首都是哪里？」，它输出了十个类似的地理问题。这说明什么？
2. SFT 训练一条对话样本时，为什么损失只在 assistant 的回答部分计算（loss mask）？
3. RLHF 的核心杠杆是「判断比创作容易」。这句话最准确的含义是？
4. 去掉 KL 惩罚、放开了让模型追逐奖励分数，最可能的结果是？
5. 相比「奖励模型 + PPO」，DPO 省掉了什么、保留了什么？
6. 为什么「答对给分」的 RLVR 几乎不会训练出谄媚的模型？
下一章
模型训好了、对齐了——但把千亿参数跑给成千上万用户用，是另一场硬仗：为什么生成一个字要过一遍整个模型？显存都花在哪？4 bit 压缩为什么还能用？