跳到主要内容

5.3 RLHF：从「哪个更好」中学习

一个朴素的观察​

上一节留下的难题：怎么告诉模型「什么样的回答更好」？

让标注员为每个问题写出完美示范？太贵了——写一篇好回答动辄二十分钟，还要求标注员本身是写作高手；更尴尬的是，随着模型变强，人写的示范未必比模型自己写的好。

但换一个任务，事情突然变简单了：给你两个回答，选出更好的那个。几秒钟就能判断，不需要你会写，甚至不需要你说得清理由。

判断比创作容易——这就是 RLHF 的全部杠杆。

品酒师未必酿得出好酒，但一口就能喝出高下。RLHF（基于人类反馈的强化学习）要做的，就是把千万次这样的「一口高下」变成训练信号。

先别看理论，你亲自来标 5 条数据​

下面是真实标注员每天的工作界面（教学版）。凭直觉选，选完看你和「多数标注员」的一致率：

🎮 动手实验
当一回 RLHF 标注员
下面是 5 组「同一个问题的两个回答」。你的任务和真实标注员一模一样：凭直觉选出更好的那个。选完看你和「多数标注员」的一致率。
第 1 / 5 组
🧑‍💻 用户问：西红柿炒蛋怎么做？
💡 要点：你刚才做的事就是 RLHF 数据生产的全部——比较，而不是写作。判断「哪个更好」比写出完美回答容易得多，这正是 RLHF 的杠杆。真实项目会用几十万到几百万条这样的比较训练奖励模型；标注员有几十页的标注规范，每条数据还要多人交叉核对。

做完了吗？回味两组特别有代表性的：

  • 第 2 组（李白的生年）：更长、更「丰富」的回答 B 里混进了一句编造。长 ≠ 好——但「偏爱长回答」恰恰是人类标注中最常见的系统性偏差，它会顺着流水线传染给模型（后患见下一节）。
  • 第 5 组（地球是平的）：顺着用户说的回答 A 讨人喜欢，却是典型的谄媚。如果标注规范不刻意防范，模型学到的将是「附和用户 = 高分」。

结果页最下面那几行 JSON，就是你刚刚生产的偏好数据——真实项目会收集几十万到几百万条。

从偏好数据到更好的模型：三步流水线​

第一步：收集偏好数据。 就是你刚做的事：同一个问题、两个（或多个）回答、标注员选出更好的。

第二步：训练奖励模型。 光有比较还不够——强化学习需要的是一个能给任何回答打分的裁判。于是用这几十万条比较，训练一个专门的模型：输入「问题 + 回答」，输出一个分数，要求它给人类偏好的那个回答打更高分。训练完成后，这位「电子品酒师」就学会了替人类的平均口味打分——而且不知疲倦、批量工作。

第三步：强化学习。 让语言模型不断生成回答，裁判逐一打分，然后朝着「分数更高」的方向调整参数。还记得 0.4 节蒙眼下山找最低损失吗？同一套梯度功夫，这次是蒙眼上山：往奖励更高的方向爬。

人类的口味，本来就有噪声​

如果你和「多数标注员」没有全部一致——恭喜，你体验到了 RLHF 最真实的一面：人类偏好本身就有分歧。有人喜欢简洁，有人喜欢详尽；同一个人上午和下午的标准都可能漂移。

真实项目靠两样东西压制噪声：几十页的标注规范书（什么算有用、什么必须拒答、遇到拿不准的怎么办），以及多人交叉标注同一条数据。即便如此，标注一致率也远达不到 100%。奖励模型学到的从来不是某个人的品味，而是几十万人口味的统计平均。

这个实验在哪里不准确？

组件里的「多数标注员」是教学设定的参考答案，真实标注中不少对比的争议率相当高。更重要的是，这条流水线有个致命软肋没在实验里出现：裁判模型是学出来的近似，它有漏洞——模型会在强化学习中疯狂钻裁判的空子（灌水凑长度、堆砌自信语气），得了高分却没变好。这就是下一节要讲的 reward hacking，也是 RLHF 工程里真正的高墙。

人标不动了怎么办​

刚才你标了 5 条。真实项目要的是几万到几十万条。

这条路很快就走到头了，三堵墙一起挡在前面：

  • 贵且慢。 每一条都要人读完两段回答再做判断，几十万条就是几十万次人工阅读。模型每迭代一版，还得重标一批。
  • 专业度不够。 让一个普通标注员判断「这段代码有没有安全漏洞」「这个医学建议对不对」——他判断不了。而模型的能力越强，能出对比题的人就越少。
  • 标准写在纸上，落地全靠感觉。 几十页的规范书再详细，最终还是几百个人各自理解、各自打分，一致率上不去。

2022 年 Anthropic 给出的解法，是把 5.3 开头那个观察再用一次：

判断比创作容易——那对模型来说也是一样的。

于是有了 Constitutional AI（宪法式 AI）。做法分两步，都很直白：

第一步，让模型自我批改。 先写下一部「宪法」——一组用大白话写清楚的原则，比如「不要提供可能造成伤害的具体操作步骤」「拒绝时要说明理由，而不是敷衍了事」。然后让模型回答一批棘手问题，接着拿宪法当尺子，让它自己给自己挑毛病，再改一遍。改完的版本拿去做 SFT。

第二步，让模型当标注员。 生成两个候选回答，问模型「按第 3 条原则，哪个更好？」——它给出的偏好，就当作标注数据用来训奖励模型。这一步叫 RLAIF（AI 反馈强化学习），是把上一节 RLHF 三步流水线里最贵的那一步换掉了。

打个比方：与其请几百个助教逐份批改几十万份作业，不如写清一份评分标准，让优等生照着标准互批。

这个类比在哪里不准确？

「优等生互批」听起来像是把人类踢出了循环——并没有。

那个当标注员的模型，本身是人类反馈训出来的。 它的判断力、它的偏好、它的盲区，全都继承自之前的人类标注。所以 RLAIF 不是「AI 自己学会了价值观」，而是把一次人类判断放大复用了几十万次。

真正变了的是人类判断的形态：从「逐条标注几十万次、标准藏在每个标注员心里」，变成「把原则写成几十条明文、公开可审查」。这其实是个不小的进步——你可以直接读那部宪法，然后质疑它；而你没法去读几十万条标注背后的隐性共识。但它也带来新问题：宪法由谁来写？漏写的情形怎么办？模型对自己的盲区，是批不出来的。

所以 2025 年的实践普遍是混合：AI 反馈负责规模（覆盖海量常规样本），人类标注负责难例、争议样本和定期抽检校准。谁也没被替代。

小结​

本节要点
  • RLHF 的杠杆：判断比创作容易——用「哪个更好」的比较代替「写出完美示范」。
  • 三步流水线：收集偏好数据 → 训练奖励模型（电子品酒师）→ 强化学习朝高分爬坡。
  • 人类偏好有噪声、有偏差（偏爱长回答、吃谄媚），奖励模型学到的是统计平均口味。
  • 人工标注贵、慢、专业度受限，于是把「判断比创作容易」再用一次：Constitutional AI 让模型照着一部明文「宪法」自我批改、并充当标注员（RLAIF）。
  • RLAIF 没有把人类踢出循环——它把人类判断从「几十万条隐性标注」搬到了「几十条公开可审的原则」上；2025 年的实践是 AI 反馈管规模、人类管难例与校准。
📝 动手自测0/5
1. RLHF 为什么用「比较两个回答」而不是「让标注员写完美回答」来收集信号？
2. 奖励模型在 RLHF 流水线中扮演什么角色？
3. 实验第 2 组里，更长的回答 B 输给了简短的 A。这揭示了人类标注的什么问题？
4. 用 RLAIF（AI 反馈）替代大部分人类标注，是否意味着「AI 自己学会了价值观」？
5. Constitutional AI 的一个重要成果是「无害但不回避」，为什么这一点值得强调？

延伸阅读​