跳到主要内容

6.5 蒸馏与小模型：把大象装进口袋

不能什么都靠万卡机房​

手机上的实时翻译、汽车里的语音助手、断网也要能用的笔记摘要——这些场景不可能每次都连回云端的万卡集群：延迟等不起、流量费不起、隐私也未必允许。端侧需要小而强的模型。

前两节的量化是「给大模型减肥」；这一节换个思路：干脆培养一个小号继承人。

蒸馏：不只抄答案，还要看解题思路​

蒸馏的设定很像师徒制：大模型当老师，小模型当学生，学生的目标不是从原始数据里从头苦学，而是模仿老师。

关键的巧思在于模仿什么。假设老师看一张图，它的判断是：

猫 70%、狗 25%、老虎 4%、汽车 0.01%……

如果只把「答案是猫」教给学生（硬标签），信息就只有一个字。但老师的完整概率分布（软标签）藏着多得多的知识：狗和猫很像、老虎有点像、汽车完全不像——这些「错误选项之间的相对关系」正是老师多年功力的浓缩。学生同时学习整张概率表，等于把老师的「审题直觉」一并继承了。

语言模型完全同理：老师对「下一个词」输出的那张几万项的概率表（你在 3.6 节的采样实验里亲手拨弄过的那种分布），就是学生的教材。

数据蒸馏：老师直接写教科书​

到了大模型时代，最流行的蒸馏形态其实更简单粗暴：让老师大量生成优质文本，学生把它们当普通训练数据学（序列级蒸馏 / 数据蒸馏）。

最出名的例子：DeepSeek-R1（2025 年）发布时，官方同步放出了一批「R1-Distill」小模型——用 R1 生成的长推理轨迹（完整的思考过程 + 答案）去微调 Qwen、Llama 系列的小模型。结果是 7B、14B 级别的小模型也学会了「先想后答」的做题风格，数学能力大涨——老师把「会思考」这件事写成了教科书，学生照着念也能学到几分。

「够用就好」的小模型哲学​

小模型当然有天花板：知识容量、复杂推理都比不过大模型。但 2024-2026 年的端侧潮流证明了另一件事：很多场景根本不需要天花板。手机上的翻译、摘要、语音指令，3B 级别的模型已经够用；真遇到难题，再转发云端大模型兜底——「小模型守门、大模型压阵」的分工已是行业常态。

最后把三个「变小」的手段放在一起对比：

手段改的是什么一句话
量化（6.3 节）数字精度同一个脑子，记数记粗一点
蒸馏（本节）知识载体把知识教给一个新的小脑子
剪枝网络结构剪掉不重要的神经连接

三者可以叠加：先蒸馏出小模型，再量化到 int4——口袋里的大象就是这么装进去的。

「蒸馏」这个词已经被用宽了

如今业界把「用一个模型的输出去训练另一个模型」统统叫蒸馏，与 Hinton 2015 年提出的「软标签蒸馏」原始定义已有不小距离——读文章时留意上下文。另外，用别家闭源模型的输出来训练自己的模型，可能违反对方的服务条款，这是工业界一个现实的合规灰区，本书点到为止。

小结​

本节要点
  • 蒸馏 = 学生模仿老师；软标签（完整概率分布）比硬标签（只有答案）多出「错误选项相对关系」这层暗知识。
  • 当代最流行的形态是数据蒸馏：老师生成优质文本（甚至推理轨迹），学生当 SFT 数据学。
  • 量化改精度、蒸馏换脑子、剪枝改结构——三者可叠加。
  • 端侧哲学：很多场景不需要最强模型，「小模型守门、大模型压阵」。
📝 动手自测0/3
1. 「软标签」比「硬标签」多出了什么信息？
2. 蒸馏和量化的本质区别是什么？
3. R1-Distill 系列小模型（2025）是怎么「学会思考」的？

延伸阅读​