第 0 章 · 小结与自测

恭喜你走完预备知识！四节内容其实讲的是同一个故事的四个侧面：

小节	核心直觉	在大模型中的角色
0.1 什么是机器学习	模型 = 带参数的函数；学习 = 自动调参数让偏差变小	定义了「训练」这件事本身
0.2 向量与矩阵	万物先变成向量；矩阵是空间的变形器	模型的输入输出与每一层的运算形态
0.3 概率	生成 = 掷一枚由上文决定的特制骰子；估准概率需要海量数据	模型输出的数学形态与数据饥渴的根源
0.4 导数与梯度	梯度指路，学习率定步长，一步步走向损失的谷底	训练的发动机：更新参数的具体算法

串成一句话：大模型是一个把向量层层变形的巨型函数，它输出「下一个词」的概率分布，训练就是用梯度下降调整矩阵里的几千亿个参数，让它对海量文本的预测偏差越来越小。

读懂了这句话的每个词，你就出师了。来验证一下：

📝 动手自测0/6

1. 「训练一个模型」最准确的描述是？

2. 大模型内部用向量表示词语，最根本的原因是？

3. 一个矩阵变换的 det = 0，意味着什么？

4. 同一个问题问 ChatGPT 两次，得到不同回答。用本章的语言解释，原因是？

5. 训练时学习率设得过大，最可能发生什么？

6. 把四节串起来：梯度下降在训练中每一步「同时对所有参数」做的事情是？

出发！

装备齐了：函数、向量、概率、梯度。

下一站，主线剧情正式开始——第 1 章 · 什么是语言模型：你将见到一个真的会预测下一个字的迷你模型，并亲手训练一个分词器。