导读：如何使用本教程
欢迎！这是一份从零开始、讲透大模型是怎么训练出来的中文交互式教程。
读完全书，你将能回答这些问题：
- ChatGPT / Claude / Qwen 这类大模型，本质上在做一件什么事？
- 「训练一个大模型」具体是在算什么？为什么要几千张 GPU、烧几亿人民币？
- 预训练、SFT、RLHF……这些黑话分别指生产流水线的哪一段？
- 为什么大模型会一本正经地胡说八道（幻觉）？为什么每次回答不一样？
🎚️ 双轨阅读：一本书，两种读法
本站每 一节内容都分成两层，这是全站最重要的功能：
- 直觉层（默认显示）：用类比、动画和交互实验讲清楚「为什么」，只需要初中代数就能读懂。
- 深入层（折叠在「🔬 深入一层」块里）：严格定义、数学推导、代码实现，面向学过微积分和线性代数的读者。
两种打开方式：
- 逐个点开：遇到感兴趣的「🔬 深入一层」就点开看。
- 一键切换：点击页面右下角的悬浮按钮，在「🧠 直觉模式」和「🔬 深入模式」之间切换，深入模式会自动展开全站所有推导。
给不同读者的建议
- 🎒 高中生 / 零基础：保持直觉模式，按章节顺序读，把每个 🎮 实验都玩一遍——实验比文字更重要。
- 🎓 大学生：切到深入模式，推导自己先推一遍再看答案，章末自测全做。
- 💼 工程师：可以按需跳章，交互实验也很适合拿去给别人做演示。
🎮 交互实验
全书有大量可以动手玩的实验组件：拖动小球体验梯度下降、亲手训练一个 BPE 分词器、掷「语言骰子」看模型如何生成文字……
强烈建议把每个实验都玩到「玩坏」为止——比如故意把学习率调到最大看训练爆炸。亲手把它玩坏一次，胜过读十遍文字。
🗺️ 全书地图
| 章节 | 一句话概括 | 状态 |
|---|---|---|
| 第 0 章 · 预备知识 | 看懂全书所需的全部数学直觉：函数拟合、向量矩阵、概率、梯度 | ✅ |
| 第 1 章 · 什么是语言模型 | 大模型的本质：预测下一个词；分词与词向量 | ✅ |
| 第 2 章 · 神经网络与训练三件套 | 损失函数、梯度下降、反向传播 | ✅ |
| 第 3 章 · Transformer 架构 | 注意力机制与现代大模型的骨架 | ✅ |
| 第 4 章 · 预训练 | 数据工程、Scaling Laws、GPU 集群并行训练 | ✅ |
| 第 5 章 · 后训练与对齐 | SFT、RLHF、DPO，从「会说话」到「说人话」；LoRA/QLoRA 让 你在自己的卡上跑一遍 | ✅ |
| 第 6 章 · 推理与部署 | KV Cache、量化、蒸馏，让模型跑得又快又省 | ✅ |
| 第 7 章 · 评测 | 怎么科学地衡量一个模型好不好 | ✅ |
| 第 8 章 · 前沿与全景 | MoE、长上下文、多模态、推理模型 | ✅ |
| 附录 | 术语表、动手实践路线、论文与资料清单 | ✅ |
📚🤖 读完上篇之后
本教程是三部曲，上篇之后还有两卷：
- 中篇 ·《给 AI 接上你的知识（RAG）》（连载中）：大模型不知道你的私事、记不住最新的事、还会一本正经地编——RAG 给它接一个「外挂大脑」。语义检索、切块、混合检索、重排、评测，讲透知识库问答的原理。
- 下篇 ·《智能体是怎么工作的》（已完稿）：讲清一个只会「预测下一个词」的模型，怎么学会查天气、改日程、修 bug——工具调用、规划反思、多智能体、评测与安全。
🤝 参与共建
本项目完全开源（代码 MIT，内容 CC BY-SA 4.0）。发现错误、类比不贴切、有更好的实验点子？欢迎到 GitHub 提 Issue 或 PR。每一页右下角都有「编辑此页」入口。
准备好了吗？从 第 0 章 · 预备知识 出发 🚀