第 4 章 · 预训练：真正的「炼丹」
前三章画好了全部图纸：模型架构（Transformer）、评分标准（交叉熵损失）、训练算法（梯度下降 + 反向传播）。图纸在手，接下来是开进工厂——
真正训练一个大模型时，工程师每天操心的不是公式，而是四件非常「工业」的事：
- 原料——十几万亿 token 的文本从哪来？怎么把互联网这个大垃圾场淘洗成干净语料？（4.1、4.2）
- 预算——参数开多大、数据喂多少、要烧几个亿？Scaling Laws 让这笔账可以提前算。（4.3）
- 产线——模型大到一张 GPU 根本放不下，几千张卡怎么分工协作？（4.4）
- 事故——训练跑到第 37 天突然崩了怎么办？（4.5）
这部分是市面上最缺系统性中文资料的内容，也是「大模型工程师」和「会调 API 的人」之间真正的分水岭。
| 小节 | 你会获得的直觉 | 实验 |
|---|---|---|
| 4.1 数据从哪来 | 互联网是垃圾场，清 洗决定模型上限 | 🎮 数据清洗流水线 |
| 4.2 配比、打包与数据的边界 | 各来源按什么比例混、文档怎么变成定长序列 | 🎮 序列打包演示 |
| 4.3 训练目标 | 「预测下一个词」为什么能逼出知识和推理 | — |
| 4.4 Scaling Laws | 参数、数据、算力的配比可以提前算账 | 🎮 训练成本计算器 |
| 4.5 并行训练 | 一张卡放不下，就把模型和数据切开分摊 | 🎮 并行策略图解 |
| 4.6 训练稳定性 | 混合精度、梯度裁剪、checkpoint 容灾 | — |
| 小结与自测 | 全章要点回顾 + 综合自测 | 📝 |