跳到主要内容

8.4 推理模型：教会模型「多想一会儿」

两种答题方式​

给模型出一道有点绕的几何题。普通模型的反应像抢答：话音未落就给出一个自信满满的答案——错的。

推理模型的反应完全不同：它先「自言自语」几千字——列出已知条件、试一条思路、算到一半发现矛盾、退回去换条路、验算、再确认——然后才给出答案。对的。

那几千字草稿，就是思维链。这一节讲的就是：「多想一会儿」是怎么从一句提示词咒语，变成训练出来的内生能力的。

从咒语到本能​

2022 年，人们发现在提示词里加一句「let's think step by step」（我们一步步想），模型的数学正确率就能显著提升——此时「想」只是被咒语临时唤起的行为，模型本身没变。

真正的转折在 2024（o1）到 2025 年（DeepSeek-R1）：用 5.5 节讲过的 RLVR——数学、代码的答案能自动判对错，拿「答对给分」直接做大规模强化学习。第 5 章讲了这套训练怎么跑，本节正式合龙看它带来了什么：模型为了拿分，自发学会了把思维链越写越长，学会了自我检查、发现矛盾、推倒重来——没有人教它「要反思」，反思是被「答对才有分」逼出来的最优策略。

新的 Scaling 维度：测试时计算​

推理模型带来一个概念上的大事件——test-time compute（测试时计算）：

4.4 节的 Scaling Laws 说「训练时多花算力，模型更强」；现在多了一条平行的曲线：推理时多花算力，答案更好——同一个模型，让它想 10 秒和想 10 分钟，难题的正确率可以差出一大截。算力换能力的杠杆，从训练场延伸到了考场。

账单与草稿的两面​

代价直接写在账单上：一道难题的思维链动辄几万 token，而 6.1 节算过——推理是按 token 计费的。延迟从秒级涨到分钟级，费用翻几十倍。更尴尬的是过度思考：问「1+1 等于几」，它也可能先写八百字草稿。什么问题该想多久，是 2025-2026 年最活跃的研究方向之一。

好消息是推理能力可以「传承」：把 R1 生成的长思维链当作 SFT 数据（6.5 节的蒸馏配方），小模型也能学到七八成的推理风范——这正是 2025 年小尺寸推理模型井喷的原因。

这个「思考」在哪里不准确？

思维链是有用的草稿，但不保证忠实反映模型内部真实的计算过程。研究发现模型有时先「心里有了答案」，再补一段看起来合理的推理——草稿可能是事后编的理由（2023-2025 年思维链忠实性研究的核心发现）。把思维链当成「模型思想的透明直播」是危险的误读，可解释性仍是开放问题。

本节要点
  • 推理模型 = 用 RLVR 把「多想一会儿」训练成内生能力，自我检查与回溯是被「答对才有分」逼出来的。
  • 测试时计算是新的 Scaling 维度：推理时多花算力也能换能力。
  • 代价是延迟与 token 账单暴涨，「该想多久」仍是开放问题。
  • 思维链是有用的草稿，但未必忠实反映模型内部的真实计算。
📝 动手自测0/3
1. 「一步步想」提示词咒语与 o1/R1 式推理模型的本质区别是什么？
2. 「测试时计算」（test-time compute）指的是什么？
3. 为什么说「思维链忠实性」是个问题？

延伸阅读​