第 6 章 · 小结与自测

全章鸟瞰

一句话串联全章：训练只发生一次，推理每天发生几十亿次——所以推理工程的地位一点不比训练低。它的全部工作，是在延迟、吞吐、成本、质量这四个互相拉扯的角里找平衡：KV Cache 拿显存换计算（6.2），量化拿一点精度换体积和带宽（6.3），连续批处理和 PagedAttention 榨干每一分算力和显存（6.4），蒸馏干脆用一个小模型换掉大模型（6.5）。而这一切优化的起点，是先看清瓶颈在哪——推理慢，慢在「搬运」而不是「计算」（6.1）。

要点回顾

小节	两行要点
6.1 训练 vs 推理	自回归生成一次只出一个 token；解码阶段的瓶颈是显存带宽（搬权重），不是算力。
6.2 KV Cache	历史 token 的 K、V 不变，缓存起来免重算——计算量从「三角形」降为「一行」；代价是显存随上下文线性膨胀。
6.3 量化	用更少比特存权重：int8 几乎白赚，int4 靠分组缩放也能用——亿万参数对小误差很迟钝。
6.4 推理服务框架	连续批处理：谁完了立刻换人，GPU 永远坐满；PagedAttention：像操作系统分页一样管理 KV 显存，浪费从 60%+ 降到 4% 以下。
6.5 蒸馏与小模型	软标签里的暗知识让学生继承老师功力；数据蒸馏连「思考方式」都能传承；量化/蒸馏/剪枝可叠加。

综合自测

📝 动手自测0/6

1. 推理的两个阶段里，预填充（prefill）和解码（decode）的瓶颈分别是什么？

2. KV Cache 的本质交换是什么？

3. 为什么 int4 量化（每个权重只剩 16 个刻度）还能保住模型大部分能力？

4. 连续批处理（continuous batching）解决的核心浪费是什么？

5. PagedAttention 管理 KV 缓存的方式，最贴切的类比是？

6. 蒸馏时让学生学老师的「软标签」而不只是正确答案，价值在哪？

下一章

模型跑得又快又省了——但它到底好不好？「好」由谁说了算？考题会泄露、裁判有偏心、榜单能刷分……第 7 章 · 评测教你带着怀疑读懂任何一张排行榜。