第 6 章 · 推理与部署

前五章把模型炼成了：预训练给了它知识，后训练教会了它说人话。但故事还没完——训练只发生一次，推理每天要发生几十亿次。

用户等不起十秒才蹦出第一个字，服务商付不起无底洞的显卡账单。推理的速度和成本，直接决定一个大模型产品的生死。这一章讲清四件事：

1. 推理为什么慢——自回归生成的天生短板，以及它真正的瓶颈在哪（6.1）；
2. 怎么少算——KV Cache 用空间换时间（6.2）；
3. 怎么变小——量化把 16 位压成 4 位，让大模型进笔记本（6.3）；
4. 怎么伺候好几千个用户——vLLM 们的调度魔法，以及干脆换个小模型（6.4、6.5）。

小节	你会获得的直觉	实验
6.1 训练 vs 推理	推理的瓶颈不是算力，是「搬运」	—
6.2 KV Cache	不重算昨天的作业：空间换时间	🎮 KV Cache 对比
6.3 量化	把权重压上更粗的刻度尺	🎮 量化演示
6.4 推理服务框架	PagedAttention 与连续批处理	—
6.5 蒸馏与小模型	让小模型继承大模型的本事	—
小结与自测	全章要点回顾 + 综合自测	📝

阅读前提

本章反复用到两个旧知识：3.5 节的自回归循环（一次只生成一个 token）和 3.2 节的注意力 K、V。照例：正文人人能读，公式和账本都折叠在「🔬 深入一层」里。