第 2 章 · 小结与自测

全章鸟瞰

这一章拆开了「训练」这个黑箱。任何神经网络——从本章 25 个参数的玩具到几千亿参数的 GPT——都在跑同一个循环：

三件套各司其职：模型提供一个足够能弯的函数（神经元的折角拼出万能逼近）；损失把「错得多离谱」压成一个可比较的数字；引擎里梯度下降决定往哪走、反向传播负责把几千亿个「往哪走」一次算齐。循环亿万次，损失曲线缓缓落地，模型就「学会」了。

小节	两行要点
2.1 一个神经元	神经元 = 加权求和 + 偏置 + 激活函数。没有激活函数，叠一万层仍是直线；ReLU 给直线一个折角。
2.2 ReLU 积木	一个神经元一个折角，折角够多能贴合任何连续曲线（万能逼近）。容量不足 = 欠拟合的根源。
2.3 损失函数	回归用 MSE，分类和语言模型用交叉熵：给正确答案的概率越小，罚分越重。损失定义了「学什么」。
2.4 梯度下降进阶	沟壑地形逼出之字形；每步抽一小批数据 = SGD，噪声常是帮手；动量与 AdamW 驯服沟壑。
2.5 反向传播	口诀「下游梯度 = 上游梯度 × 本地导数」沿计算图反向接力，一趟拿到全部参数的梯度。
2.6 训练实验室	四步循环点火实测：心电图前陡后缓为正常；容量太小欠拟合，训过头过拟合，靠验证集把关。

一句话浓缩全章：训练 = 用反向传播算出的梯度，沿损失面反复下山，直到模型这个「折角函数」贴住数据的规律。

📝 动手自测0/6

1. 为什么神经网络必须有激活函数？

2. 同一个网络，把损失函数从 MSE 换成交叉熵，本质上改变了什么？

3. 2.4 节实验里，小球在沟壑地形中走出之字形。以下哪个手段「不能」缓解之字形？

4. 反向传播和梯度下降的分工，说法正确的是？

5. 训练一个模型时损失曲线剧烈锯齿上下跳动，最可能的原因和对策是？

6. 32 个神经元的网络把 40 个带噪声的点拟合到损失几乎为零。为什么这不一定是好事？

第 2 章的网络已经是「万能函数」，但它有个致命盲区：把每个输入孤立看待——不懂词的先后顺序，更不会让「它」回头去找「小猫」。而语言的灵魂恰恰在上下文里。

第 3 章 · Transformer 架构：注意力机制登场，让每个词自己决定该看谁。