第 5 章 · 后训练与对齐：从「会说话」到「说人话」
第 4 章烧掉几个亿炼出来的基座模型，是一位「最强接话茬选手」：它读过整个互联网，语法完美、知 识渊博。但你问它「中国的首都是哪里？」，它很可能给你续写出十个类似的问题——因为在互联网上，一个问题后面最常跟着的往往是更多的问题，而不是答案。
它不是不知道，它只是在做预训练教它的唯一一件事：把最像的文本接下去。
后训练（post-training）的使命，就是把这位选手调教成真正的助手——听得懂指令、答得上问题、拒得掉危险请求。这一章讲完这条流水线的每一环：
| 小节 | 你会获得的直觉 | 实验 |
|---|---|---|
| 5.1 基座模型：最强接话茬选手 | base 模型为什么「答非所问」 | — |
| 5.2 SFT：给模型上示范课 | 拿几万份「问题 + 完美回答」让它模仿 | — |
| 5.3 RLHF：从「哪个更好」中学习 | 判断比创作容易——比较出一个裁判模型 | 🎮 当一回标注员 |
| 5.4 PPO 的直觉 | 奖励要高，但别离原来的自己太远 | — |
| 5.5 DPO、GRPO 与推理强化学习 | 绕开 PPO 的捷径；用「对错」当奖励 | — |
| 5.6 对齐的边界 | 幻觉、谄媚、拒答——后训练治不断根的病 | — |
| 5.7 LoRA：给大模型贴便利贴 | 冻结底座、只训一张低秩贴纸，单卡也能微调 | 🎮 LoRA 账本 |
| 5.8 QLoRA：4 位底座 + 16 位便利贴 | 把冻结的底座也压掉四分之三 | 🎮 LoRA 账本 |
| 5.9 PEFT 全景与选型 | 便利贴的各种贴法，以及「你该不该微调」 | 🎮 选型向导 |
| 5.10 训练数据是怎么造出来的 | 人写、蒸馏、拒绝采样——以及尺子不准时的反噬 | 🎮 拒绝采样实验 |
| 小结与自测 | 全章要点回顾 + 综合自测 | 📝 |