跳到主要内容

4.3 训练目标：为什么「预测下一个词」能学到知识

一道题型，十几万亿道题​

上一节淘洗出来的十几万亿 token，接下来怎么用？答案简单得让人怀疑：全部做成完形填空。

把语料切成句子，遮住下一个词，让模型猜；猜错了按第 2 章的交叉熵扣分，用梯度下降调参数。就这一道题型，重复十几万亿次——预训练的全部内容到此为止，没有第二个环节。

一个自然的疑问是：靠「猜下一个词」，怎么可能学出智能？

把预测做准，你不得不变聪明​

关键在于：语料里什么都有，想把每种下一个词都猜准，模型被迫学会越来越多的东西。看几道「填空题」就明白了：

  • 「法国的首都是___」——想猜对「巴黎」，得记住事实；
  • 「3 + 5 = ___」——想猜对「8」，得会算术；
  • 「侦探环视众人，缓缓说道：凶手就是___」——想猜对，得读懂前文伏笔，会推理；
  • 「她摔门而出，妈妈叹了口气说___」——想接得自然，得懂人的情绪和动机。

文本是人类知识与思维的投影。事实、逻辑、语法、情感、代码的运行规则……全都以「什么词该接什么词」的形式藏在语料里。预测做到极致，等于把这些规律全部内化。「猜下一个词」不是目标的上限，而是一个万能的压强：哪里猜不准，梯度就往哪里施压。

还记得 0.1 节结尾那个伏笔吗——「大模型的预训练不用人工标答案，答案就藏在文本自己身上」。现在可以正式揭晓它的名字：自监督学习。前半句当输入、下一个词当标准答案，一篇文档自带海量「题目 + 答案」，零人工标注。这正是预训练能吃下十几万亿 token 的前提：数据不要钱地自我标注。

再往深一层：1.1 节深入层提过「压缩即智能」——预测得越准，编码文本所需的比特越少。一个把「猜下一个词」做到极致的模型，本质上是一台顶级压缩机，而压缩的唯一途径是抓住规律：背原文行不通（十几万亿 token 背不下），只有把语法、事实、逻辑提炼成参数里的通用规则，才压得动。

大力出奇迹：涌现​

按这个逻辑，模型越大、数据越多，「被迫学会」的东西就越多。2020-2022 年间人们观察到一个更戏剧性的现象：有些能力（多步算术、思维连贯的推理）在小模型上完全为零，模型大到某个规模后像开关打开一样突然出现——这被称为「涌现能力」。

如实交代：学界对涌现有争论（2022-2023 年的公开讨论）。一派认为这是真实的相变；另一派认为是「度量假象」——能力其实在平滑增长，只是「全对才得分」的评分方式让曲线看起来像跳变。无论哪派正确，工程上的事实不变：规模扩大会带来质的能力变化，且大方向可预测——这正是下一节 Scaling Laws 的主题。

这个目标学到的是什么，学不到什么？

预测下一个词，学到的是文本世界的统计规律——而文本世界不等于真实世界。语料里的错误、偏见、过时信息会被一并学进去；更微妙的是，「知道」不等于「可靠地说出」：模型学到的是「什么话接在这里最像」，当它没把握时也会接一句最像答案的话而不是「我不知道」——幻觉的种子在预训练目标里就埋下了。这些问题要靠第 5 章的后训练来（部分地）修复。

小结​

本节要点
  • 预训练只有一道题型：预测下一个词；答案藏在文本自身——自监督，零人工标注。
  • 「猜准下一个词」是万能压强：事实、算术、推理、情感都以词序规律的形式藏在语料里，预测做到极致就必须内化它们。
  • 规模扩大会带来质变（涌现），但目标本身也埋下了幻觉的种子：模型学的是「接最像的话」，不是「说真话」。
📝 动手自测0/3
1. 预训练被称为「自监督学习」，是因为——
2. 为什么「预测下一个词」这么简单的目标能逼出推理能力？
3. 关于「涌现能力」，符合本节说法的是——

延伸阅读​