跳到主要内容

5.5 DPO、GRPO 与推理强化学习

大家开始找捷径​

上一节的结尾停在一声叹息：PPO 效果好，但四个模型同时在显存里，又贵又娇气，超参数调到怀疑人生。2022 年 ChatGPT 证明了这条路能走通之后，整个社区的问题变成：能不能便宜点？

2023 年起，捷径一条接一条地被找到。这一节讲三条最重要的：DPO 砍掉了强化学习，GRPO 砍掉了价值模型，RLVR 砍掉了人类打分。

DPO：既然裁判是学出来的，不如直接学​

第一条捷径来自斯坦福（2023 年）。它的出发点是一个很「程序员」的观察：

奖励模型是从偏好数据学出来的，然后又用它去教语言模型。两次转手，何必呢？

DPO（直接偏好优化）用一步数学恒等变换证明：「训练奖励模型 + 强化学习」这两步，可以合并成一步普通的监督学习——直接拿偏好数据教语言模型：

  • 看到 chosen（人类选中的回答）：把生成它的概率拉高；
  • 看到 rejected（被淘汰的回答）：把生成它的概率压低；
  • 拉多少、压多少，公式里自带一根隐式的 KL 橡皮筋（上一节那根），防止跑偏。

没有奖励模型、没有采样生成、没有四模型马戏团——训练过程和 SFT 一样简单稳定，一张烧烤架变成了一口电饭煲。DPO 从 2023 年起迅速成为开源社区的对齐标配。

代价也要如实交代：DPO 是离线的——它只能从「已经存在的回答对」里学；而 PPO 是在线的——模型一边生成新回答一边被打分，能在自己的最新水平上持续探索。谁更强？2024-2025 年学界业界仍在争论，实践中常见的答案是「都用」：多轮迭代、混合配方。

GRPO：价值模型也能省​

第二条捷径来自 DeepSeek（2024 年）。PPO 的四模型里，价值模型的工作是估计「平均水平」，好算出每个回答比平均好多少。GRPO 的想法直白到近乎狡猾：

平均水平？让模型对同一道题生成一组回答（比如 16 个），组内平均分不就是平均水平吗？

比组内平均好的回答加强，比组内平均差的削弱——基线是「自己和自己比」比出来的，价值模型直接下岗。省下一整个模型的显存和训练，实现还更简单。

RLVR：连人类打分都不要了​

第三条捷径最激进，也通向了 2024-2025 年最大的一场范式转移。

回想 reward hacking 的根源：裁判是从人类主观偏好里学的，有偏差、能被讨好。但有两类任务天生免疫——数学和代码。答案算出 42 就是 42，代码过了测试就是过了，判分程序不吃「自信的语气」那一套。

这就是 RLVR（可验证奖励强化学习）：用自动判对错的任务做强化学习，奖励不需要人类标注，也几乎无法谄媚。

DeepSeek-R1（2025 年 1 月）把这条路走到了极致：用「答对给分 + 格式规范给分」的极简奖励，配合 GRPO 做大规模强化学习。神奇的事情发生了——没人教它，模型自发地学会了「多想一会儿」：思维链越变越长，开始自我检查、发现错误、回头重算（论文里著名的「aha moment」）。因为想得久确实更容易答对，而奖励只认对错。

这就是 o1（2024）/ R1（2025）开创的推理模型范式：预训练教会知识，RLVR 教会思考的耐心。你在使用某些模型时看到的「思考中……」，背后就是这条训练路线。

这一节简化了什么？

三条捷径都讲的是骨架：DPO 的推导依赖若干理论假设，实践效果与理论承诺之间有已知落差；GRPO 和 R1 的工程细节（数据配比、奖励细节、多阶段训练）远比本节丰富，请以论文为准。另外，「模型涌现出自我反思」是对训练现象的一种解读，它究竟算「学会思考」还是「学会了产出更长的有效计算」，学界仍在讨论——本书选择把现象和解读分开呈现。

小结​

本节要点
  • DPO：一步恒等变换把「奖励模型 + RL」合并为一步监督学习，简单稳定，开源标配（2023）。
  • GRPO：同题采样一组回答、组内平均当基线，价值模型下岗（2024）。
  • RLVR：用数学 / 代码的自动判分当奖励——没有人类偏好，就没有谄媚的空子。
  • R1 式训练中，「多想一会儿」不是人教的，是「想得久更容易答对」自己涌现的（2025）。
📝 动手自测0/3
1. DPO 相对于「奖励模型 + PPO」的核心简化是什么？
2. GRPO 用什么替代了 PPO 中的价值模型？
3. 为什么可验证奖励（RLVR）能从根源上避免「谄媚刷分」？

延伸阅读​