8.5 全景大图:全书大结局
还记得 0.1 节那条只有两个参数的直线吗?你拖动滑块,让它穿过十二个点——那是整本书的第一次「训练」。
十几万字之后,你已经能看懂从一堆杂乱网页到一个会思考的助手之间的全部工序。现在,把整本书收进一张图:
全景大图:从网页到助手的完整流水线
全书九章,一张图收。每个方块角上的标签是对应章节——哪里模糊了就回哪里复习。海报可下载(SVG 矢量图,打印无损)。
大模型的一生
顺着海报从上往下走一遍,每一步你都亲手玩过:
- 原料:互联网、书籍、代码被清洗流水线淘洗成万亿 token 语料(第 4 章——你看过 6 篇网页的生死之旅);分词器把文字切成 token、变成向量(第 1 章——你亲手训练过 BPE)。
- 预训练:Transformer 骨架(第 3 章)装上训练三件套引擎(第 2 章),在 Scaling Laws 指导下用几千张 GPU 并行开炼(第 4 章),产出「最强接话茬选手」——基座模型。
- 后训练:SFT 教会它对话,你标注过的偏好数据训练出奖励模型,强化学习(PPO/DPO/GRPO/RLVR)把它对齐成会说人话、会深想的助手(第 5 章)。
- 落地:KV Cache、量化、vLLM 让它跑得又快又省(第 6 章),进入产品,接受评测的检验(第 7 章——你当过评委,也踩过评委的坑)。
- 循环:评测暴露的问题反馈回数据、对齐、推理的每一环,下一代模型重走一遍流水线——这就是大模型的一生,而前沿方向(第 8 章)正在改写它的每一段。
你现在能做什么
读 完不是终点,给你三条路:
- 🛠️ 动手:打开附录 · 动手实践路线,从 nanoGPT 开始亲手训练——本书给了你地图,代码给你路感。
- 📄 读论文:以后每读一篇大模型论文,先在海报上找到它的位置——是数据环节的改进、训练目标的变体,还是对齐或推理的新招?有地图的人不会迷路。
- 🗣️ 讲给别人听:挑一个你最喜欢的实验(梯度下山?语言骰子?当标注员?),讲给一个没读过本书的人——教是最好的学,讲不通的地方就是你该回去重读的地方。
本书没讲的
诚实清单——这些内容同样重要,但不在上篇主线里:
- 给模型接上你的私有知识:怎么让大模型答得上「我们公司的规定」「最新的文档」而不胡编?这是**检索增强(RAG)**的活,本站中篇《给 AI 接上你的知识》专门讲透。
- Agent 工程:让模型规划、用工具、干长活的应用层功夫——本站下篇《智能体是怎么工作的》从头拆到尾。
- 扩散模型:文生图/视频的主力技术线,与自回归是两套机器(可从 Lilian Weng 的综述博客入门)。
- 框架实战:PyTorch/vLLM/LLaMA-Factory 的 工程细节,附录 · 动手实践路线里的项目就是最好的教材。
致谢与共建
本书是一个开源项目:代码 MIT,内容 CC BY-SA 4.0。它一定还有讲得不准、不清、不有趣的地方——发现了就到 GitHub 提个 Issue 或 PR,让下一位读者读到更好的版本。每一页右下角都有「编辑此页」。
也谢谢你——认真读到最后一页、把实验玩到「玩坏」的你。
结语
大模型不是魔法。它是数据、算力和一个朴素得近乎固执的目标——预测下一个词——在巨大规模下的产物。你已经亲眼看过它的每一道工序:没有一步超出你能理解的范围,合起来却造出了这个时代最令人惊讶的机器。
祝你在这个正在被它重塑的时代里,永远保有亲手拆开黑箱的好奇心。
—— 全书完 ——