第 3 章 · Transformer 架构

第 2 章造出的神经网络已经是个「万能函数」，但它有个致命短板：孤立地处理每个输入，既看不懂词的先后顺序，也不会让「它」回头去找「小猫」。语言恰恰活在上下文里。

2017 年，Transformer 用一个漂亮的机制解决了这件事——注意力：让每个词自己决定该看谁、看多少。从 GPT 到 Claude 到 Qwen，2025 年所有主流大模型用的都是这副骨架。这一章我们把它拆开看个明白：

小节	你会获得的直觉	实验
3.1 注意力的直觉	每个词环顾四周，按相关度加权取信息	—
3.2 Q、K、V：拿着问题查字典	打分 → 变百分比 → 加权取用	🎮 注意力实验台
3.3 多头注意力与位置编码	多问几路问题；给位置发工牌	🎮 注意力实验台（多头）
3.4 残差与层归一化	给梯度修高速公路，给数值定音量	—
3.5 拼装一个 GPT	从 token 进到概率出的完整流水线	🎮 token 旅程动画
3.6 采样与生成	温度、top-k、top-p 三个旋钮	🎮 采样实验台
小结与自测	全章串联 + 6 题综合自测	—

阅读前提

本章直接建立在第 1 章（token、词向量）和第 2 章（神经网络、训练三件套）之上。如果「词向量」「softmax」这些词让你陌生，建议先回去补一下。照例：正文人人能读，推导都折叠在「🔬 深入一层」里。