第 1 章 · 什么是语言模型
「大模型」三个字里,「大」可以先放一边——它无非是「参数多、数据多、算力多」。真正需要先搞懂的是后面那半:语言模型到底是个什么东西?
这一章你会发现:ChatGPT 干的事,和你手机输入法的联想功能,本质上是同一件事——只是做到了完全不同的境界。
| 小节 | 你会获得的直觉 | 实验 |
|---|---|---|
| 1.1 语言模型:预测下一个词的机器 | 生成文字 = 不断预测下一个词 | 🎮 迷你语言模型 |
| 1.2 从查表到神经网络:语言模型简史 | 七十年技术路线一张图看懂 | — |
| 1.3 分词(Tokenization) | 文字怎么切成模型的「积木」 | 🎮 BPE 分词器 |
| 1.4 词向量(Embedding) | 意思相近的词,住得也近 | 🎮 词向量地图 |
读完本章,你就掌握了大模型的「输入端」和「任务定义」;第 2、3 章再拆开中间那个神经网络黑箱。