第 1 章 · 小结与自测

全章鸟瞰：一条流水线

第 1 章讲的四件事，其实是同一条流水线上的四道工序。当你向大模型提问时，你的文字经历的是这样一趟旅程：先被分词器切成一串 token（1.3 节的积木），每个 token 换成编号；再拿编号去 embedding 表里查出各自的向量（1.4 节的「居住地址」）；这串向量进入语言模型，模型输出「下一个 token 是谁」的概率分布（1.1 节的语言骰子）；最后采样掷出一个 token，拼到句尾，整个过程周而复始——直到生成结束符。所谓「大模型在回答问题」，就是这个循环转了几百几千圈。

第 2 章之前，唯一还是黑箱的就是中间那格「语言模型」——向量进去、概率出来，里面到底在算什么？这正是接下来两章的主线。

要点回顾

小节	核心要点
1.1 什么是语言模型	语言模型 = 给定上文，输出下一个词的概率分布；生成 = 反复掷「语言骰子」。 连只会数数的 n-gram 小模型都能干这件事——它和 GPT 的差别在「看多远」和「怎么算」，不在目标。
1.2 从查表到神经网络	n-gram 靠死记硬背查表，上文一长就组合爆炸、处处「没见过」（数据稀疏）。 神经网络语言模型靠向量与泛化打破僵局，才有了今天的大模型。
1.3 分词	模型只认编号；子词方案（BPE）在「太碎」与「词表爆炸」之间折中。 BPE 训练 = 反复合并语料里最高频的相邻对；词表是训练语料的镜子。
1.4 词向量	Embedding 让「意思相近的词住得近」，规律得以跨词迁移。 距离编码「像不像」，方向编码「关系」；坐标全靠训练自动调出来，没人排版。

综合自测

这 6 道题横跨全章，有几道需要把不同小节的知识连起来用。

📝 动手自测0/6

1. ChatGPT 回答你的问题时，从头到尾本质上在重复做哪一件事？

2. 同一个问题问大模型两次，得到的回答常常不一样。最直接的原因是？

3. 为什么说「BPE 词表是训练语料的镜子」？

4. token 编号 59 和 60 挨着，说明这两个词？

5. 把 n-gram 模型的上文从 2 个字加长到 10 个字，效果反而崩了。根本原因是？

6. 你输入「帮我写一首诗」，按流水线顺序，大模型内部最先发生的是哪一步？

下一章预告

流水线上只剩一个黑箱：「语言模型」那一格里面到底怎么算——向量进去，凭什么出来的概率恰好合理？

第 2 章 · 神经网络与训练三件套将拆开这个黑箱：神经元怎么打分、损失怎么定义、几十亿个参数怎么靠梯度下降和反向传播自动调好。0.4 节那颗下山的小球，要在真正的「损失山脉」上滚起来了。