跳到主要内容

第 1 章 · 什么是语言模型

「大模型」三个字里,「大」可以先放一边——它无非是「参数多、数据多、算力多」。真正需要先搞懂的是后面那半:语言模型到底是个什么东西?

这一章你会发现:ChatGPT 干的事,和你手机输入法的联想功能,本质上是同一件事——只是做到了完全不同的境界。

小节你会获得的直觉实验
1.1 语言模型:预测下一个词的机器生成文字 = 不断预测下一个词🎮 迷你语言模型
1.2 从查表到神经网络:语言模型简史七十年技术路线一张图看懂—
1.3 分词(Tokenization)文字怎么切成模型的「积木」🎮 BPE 分词器
1.4 词向量(Embedding)意思相近的词,住得也近🎮 词向量地图

读完本章,你就掌握了大模型的「输入端」和「任务定义」;第 2、3 章再拆开中间那个神经网络黑箱。

阅读前提

本章会用到第 0 章的两个直觉:概率与语言骰子、向量是空间中的点。没读过的话建议先花十分钟玩玩那两个实验。