第 2 章 · 神经网络与训练三件套

第 1 章说，语言模型是一个「上文 → 下一个词概率」的函数。但这个函数内部长什么样？「错」怎么量化成一个数？几千亿个参数又是怎么自动调的？

这一章把黑箱拆开。你会看到，训练任何神经网络（包括 GPT）都只需要三件套：

1. 模型——一个由神经元拼成的、足够能弯的函数（2.1、2.2）；
2. 损失——给「错得多离谱」定价的评分标准（2.3）；
3. 引擎——梯度下降负责调参数，反向传播负责算梯度（2.4、2.5）。

最后在 2.6 节，三件套合体：你将在浏览器里亲手训练一个真实的神经网络。

小节	你会获得的直觉	实验
2.1 一个神经元	神经元 = 加权求和 + 开关；ReLU 给直线一个折角	🎮 单神经元调参
2.2 ReLU 积木	折角够多，能拼出任何曲线（万能逼近）	🎮 ReLU 积木
2.3 损失函数	给「错」定价：MSE 与交叉熵	—
2.4 梯度下降（进阶）	二维损失面上的之字形与随机梯度	🎮 2D 损失面下山
2.5 反向传播	梯度从损失出发，沿链式法则一站站往回传	🎮 反向传播流水线
2.6 训练实验室	三件套合体：亲眼看损失曲线掉下来	🎮 浏览器内训练
小结与自测	全章要点回顾 + 综合自测	📝

开始前

本章只依赖两个预备直觉：0.2 向量与矩阵（矩阵是空间的变形器）和 0.4 导数与梯度（坡度告诉你往哪走能下山）。印象模糊的话，花五分钟回去把那两个实验再玩一遍，这一章会顺畅得多。