第 3 章 · 小结与自测
一张图看全章
用一段话串起来：第 2 章的网络孤立地处理每个输入，而语言活在上下文里——注意力让每个词按相关度加权取用全句的信息（3.1），具体靠 Q、K、V 的「软查字典」实现（3.2）；多头让模型同时用多种眼光扫视句子，位置编码补上词序（3.3）；残差与层归一化保证这套结构叠几十上百层不塌（3.4）；拼装成整机后，token 走完「向量化 → N 层块 → logits → softmax」的流水线，每趟产出一个字、拼回去再来一趟（3.5）；最后由温度、top-k、top-p 决定从概率表里怎么挑字（3.6）。
六节要点回顾
| 小节 | 记住这两件事 |
|---|---|
| 3.1 注意力的直觉 | 注意力 = 按相关度加权平均；权重每行加起来是 100% |
| 3.2 Q、K、V | 拿问题（Q）匹配索引（K）取内容（V）；打分过 softmax 变成权重 |
| 3.3 多头与位置编码 | 一个头一种关注模式，多头并行；注意力天生不分先后，位置要额外注入 |
| 3.4 残差与层归一化 | 输出 = 输入 + 修正量，梯度有直达电梯；归一化是音量调平器 |
| 3.5 拼装一个 GPT | 主干 = （注意力 + 前馈）× N；自回归一次只产一个 token |
| 3.6 采样与生成 | 模型给概率、采样定文字；温度 → top-k → top-p → 掷骰子 |
综合自测
📝 动手自测0/6
1. 注意力机制的本质操作是什 么？
2. 为什么 Transformer 必须额外注入位置编码？
3. 因果遮罩（causal mask）的作用是？
4. 没有残差连接的一百层网络，最典型的下场是？
5. 关于 GPT 的自回归生成，哪个说法是对的？
6. 你希望模型写代码时输出稳定、写故事时脑洞大开，应该分别怎么调温度？
下一步
骨架已经竖起来了——但此刻它还是一副随机初始化的空壳，一个字也不会说。
下一章去工业现场：十几万亿词的数据从哪来、怎么洗？Scaling Laws 如何指导「买多少卡、喂多少数据」？几千张 GPU 怎么分工协作？训练崩了怎么救？