4.1 数据从哪来：喂饱一个大模型
先算一笔阅读账
旗舰级大模型的预训练语料是十几万亿个 token（2025 年的量级）。这是什么概念？
一个人每天读 8 小时书，按每分钟 300 字算，一天大约能读十万 token。照这个速度不吃不睡地读，读完十几万亿 token 需要几十万年——从直立人时代读到今天都读不完。
世界上没有任何一家出版社能供应这么多文字。唯一的来源，是互联网本身。
语料的配方
真实的预训练语料是多种来源按比例调配出来的，每种原料补一种「营养」：
| 来源 | 典型代表 | 贡献什么能力 |
|---|---|---|
| 网页抓取 | Common Crawl（公益组织持续抓取全网的快照） | 占大头：语言的广度、常识、时效话题 |
| 代码 | GitHub 等开源仓库 | 严密的逻辑和结构化思维——代码读得多的模型推理更强 |
| 书籍 | 电子书库 | 长篇连贯性、叙事能力、深度知识 |
| 论文 | arXiv 等 | 科学知识、严谨表达 |
| 百科 | 维基百科等 | 高密度、相对可靠的事实 |
| 问答与对话 | 论坛、问答站 | 「一问一答」的语用习惯 |
各来源按什么比例混合（数据配比），直接影响模型的「性格」和强项：代码多则推理强、书籍多则长文连贯。各家最终用的那组数字确实是核心机密，但决定这组数字的方法是公开的——下一节专门讲怎么定配比。
互联网是个垃圾场
但是，直接把抓来的网页喂给模型是灾难性的：原始网页里有 HTML 标签、导航菜单、广告、乱码、无数转载重复，还有骂战和隐私信息。模型读什么学什么——垃圾进，垃圾出。
所以每一篇网页在入库前，都要走完一条残酷的流水线。下面这条 5 道工序的迷你流水线，处理的是 6 篇模拟「原始网页」——亲手把它们送进去：
一步步点「下一道工序 →」，重点观察三件事：
- 「英文体育新闻」在语言识别这步消失了——注意淘汰原因写的是：它不是被扔掉，而是转去英文流水线。真实的多语言模型会为每种语言开一条线。
- 「转载文章」死在去重这一步。它和「新闻报道」内容几乎一样——重复数据是双重浪费：白白多算一遍，还会让模型把这篇文章「背下来」而不是学规律（第 2 章讲过的过拟合，在数据侧同样成立）。
- 两篇幸存文档也都动过手术：新闻报道里的「点击下载APP领红包！」在质量过滤时被删掉，学习经验帖里的手机号被打码成 138****5678。清洗不只是「扔文档」，更多的是「治病救文」。
走到终点你会看到：6 篇原始网页只剩 2 篇入库，存活字符不到一半。真实规模下更残酷——以公开的大型网页语料项目的报告为参照（2024-2025 年），原始抓取数据里最终只有百分之几能进训练集。
真实的清洗流水线有几十道工序，这里只演示了最有代表性的 5 道；很多过滤器（质量打分、毒性识别）本身就是训练出来的小模型，而不是简单规则——用模型造模型的数据，是行业常态。另外「只剩百分之几」是公开数据集报告的量级，各家标准松紧差异很大，不是精确数字。
好数据不够用了，就自己造
上面这套工序有个隐含前提：网上有足够多的好东西等着你去淘。 这个前提正在失效。
按 4.4 节的吃法，模型对数据的胃口每年翻着番涨，而人类写出来的高质量公开文本是有限的——业内管这叫数据墙（2024 年起成为公开议题）。全网淘一遍只剩百分之几，淘第二遍也变不出新的。
于是从 2023 年起，一个原本听着有点荒唐的思路成了主流：让模型自己造数据。
合成数据不是凭空编，常见的有三种造法：
- 改写。把一篇写得乱七八糟但内容有价值的网页，让强模型重写成条理清晰的讲解稿——知识没变，密度和可读性上去了。
- 出题。给定一段资料，让模型生成一批「问题 + 解答」，把陈述性的材料变成练习册。
- 蒸馏。用当前最强的模型生成大量高质量文本，喂给要训练的小模型（6.5 节会正式讲这套配方）。
效果有时好得惊人。微软的 Phi 系列（2023 年起）就把这条路走到极致：用大量「教科书质量」的合成数据训练小模型，让一个十几亿参数的模型在代码和推理任务上打败了几倍大的对手。他们那篇论文的标题直接就叫《教科书就是你需要的一切》。
打个比方：与其让学生去菜市场听人聊天学语文，不如请特级教师编一套教材。同样的知识，讲得好的那一版学起来快得多。
特级教师懂这门课，而生成合成数据的模型并不「懂」——它只是把已有的东西换个说法。这带来两个真实的风险。
一、它 变不出新知识。 合成数据能提升信息的密度和形式，但天花板仍是原始语料里已有的内容。指望用合成数据让模型学会它从没见过的事实，是缘木求鱼（这也是 5.9 节那条「微调教不会新知识」的同源道理）。
二、近亲繁殖会退化。 如果一代模型用上一代模型的输出训练、如此反复，且用合成数据替换掉真实数据，分布的尾部会被逐代削平，最终模型只会说最平庸的那些话——2024 年发表在《自然》上的研究把这称为模型崩溃。补救办法也很清楚：合成数据要叠加在真实数据之上而不是取代它，并且要有独立的验证环节（数学题验算、代码跑测试）来过滤掉错的那些。所以真实语料非但没有贬值，反而更金贵了。
最后一口喂什么，特别重要
还有一件事，前面的「配方表」没说清：这些数据不是搅匀了一次性灌下去的，喂的顺序也是配方的一部分。
典型做法是把训练分成两段：
- 主段（占绝大部分算力）：按前面那张表的比例，大口吃网页——图的是广度和量。
- 退火段（最后百分之几到百分之十）：大幅提高高质量数据的比例（教科书、精选代码、数学、人工整理的资料），同时把学习率一路降到接近零。
这个收尾阶段叫退火（借自冶金：金属缓慢降温才能形成稳定的晶体结构）。它的效果比直觉上大得多——同样的总算力，把最后那一小段的数据配比调好，评测分数能有肉眼可见的提升（2024 年多家公开报告的共同经验）。
为什么？回想 0.4 节的下山图：学习率高的时候，模型在山谷间大步流星，最近看的那点数据留不下什么印象；学习率快降到零时，每一步都极小，模型是在微调自己最终停在哪个坑里——这时候看到什么，就格外算数。
一个精辟的说法是：主段决定模型知道多少，退火段决定模型是什么样子。
这还带来一个副产品：想知道某批新数据值不值钱？不必重训整个模型——拿一个训到一半的检查点，用这批数据退个火，比一比分数就知道了。这已经成了 2024 年后评估数据价值的标准手段。
小结
- 十几 万亿 token 的语料只能来自互联网，网页抓取占大头，代码、书籍、论文各补一种「营养」。
- 原始网页必须经过正文提取、语言识别、质量过滤、去重、隐私毒性处理等几十道工序，最终存活率只有百分之几。
- 重复数据 = 白算 + 背题；清洗质量和数据配比直接决定模型上限——「垃圾进，垃圾出」。
- 撞上数据墙后，合成数据（改写、出题、蒸馏）成为主流补充——但它变不出新知识，且必须叠加在真实数据上、配合验证过滤，否则会模型崩溃。
- 喂的顺序也是配方：训练末段的退火（拉高优质数据比例 + 学习率降到近零）对最终表现的影响远超其算力占比。
延伸阅读
- FineWeb 技术报告（Hugging Face, 2024）——把 15T token 的清洗全流程和每步消融实验完全公开，数据工程最好的公开教材。
- Textbooks Are All You Need (Gunasekar et al., 2023)——Phi 系列的开篇，合成「教科书质量」数据的代表作。
- AI models collapse when trained on recursively generated data (Shumailov et al., Nature 2024)——模型崩溃的实证研究。
- 下一节 4.2 配比、打包与数据的边界：各来源按什么比例混？洗干净的文档又是怎么变成模型真正吃下去的那一条条序列的？