延伸资料清单
按主题组织。难度标记：🟢 零基础可看 · 🟡 需要本书前几章基础 · 🔴 面向进阶读者。
可视化与视频
- 🟢 3Blue1Brown 神经网络系列（B 站官方号）——梯度下降、反向传播、Transformer 的顶级动画讲解。
- 🟢 LLM Visualization (bbycroft.net)——3D 漫游一个真实 GPT 的每一层计算。
- 🟡 Jay Alammar: The Illustrated Transformer——被引用最多的 Transformer 图解。
- 🟡 Karpathy: Deep Dive into LLMs like ChatGPT——3.5 小时讲完从预训练到 RLHF 的全流程。
系统课程
- 🟡 动手学深度学习 d2l.ai——李沐团队的中文教材，代码齐全。
- 🟡 Hugging Face NLP 课程（有中文版）。
- 🔴 Stanford CS336: Language Modeling from Scratch——从零实现大模型训练全栈。
里程碑论文（按本书章节对应）
| 章节 | 论文 | 一句话 |
|---|---|---|
| 第 3 章 | Attention Is All You Need (2017) | Transformer 的诞生 |
| 第 4 章 | GPT-3 (2020) | 大力出奇迹：1750 亿参数与 in-context learning |
| 第 4 章 | Chinchilla (2022) | 参数与数据的最优配比 |
| 第 5 章 | InstructGPT (2022) | RLHF 三部曲的定义之作 |
| 第 5 章 | DPO (2023) | 不训奖励模型直接对齐 |
| 第 5 章 | DeepSeek-R1 (2025) | 可验证奖励的推理强化学习 |
读论文的顺序建议
先读完本书对应章节建立直觉，再去读论文——顺序反了会非常痛苦。