跳到主要内容

5.6 对齐的边界：仍未解决的问题

流水线的尽头不是终点​

走完 SFT → 奖励模型 → 强化学习这条流水线，模型确实学会了「说人话」：听得懂指令、答得上问题、拒得掉危险请求。到 2026 年，这套配方已经打磨了四年多，投入了难以计数的标注人力和算力。

然而有四个问题，至今没有任何一家做到根治。了解它们，比背熟前面所有公式更能帮你正确地使用大模型。

病症一：幻觉——治不断根的「接话本能」​

幻觉的根子扎在预训练里。4.3 节说过：模型的本性是把最像的文本接下去。当它不知道答案时，「最像答案的话」依然会被流畅地接出来——一本正经，语法完美，内容纯属编造。

后训练很难根治这件事，有个残酷的原因：训练信号里几乎没有奖励「我不知道」的样本。人类标注员天然偏爱有内容、有把握的回答（你在 5.3 的标注实验第 2 组见过「长而丰富」的诱惑），于是 RLHF 甚至可能让幻觉更自信——语气越确定，分越高。

缓解手段是有的：检索增强（先查资料再回答）、专门奖励「恰当弃权」的训练。其中检索增强（RAG）是当下最主流的一条路线——让模型答题前先从可信资料里查一遍、照着答、还能标出处，这套方法本站中篇《给 AI 接上你的知识》专门讲透。但请注意用词——是缓解，不是根治。使用大模型的第一守则由此而来：关键事实，永远核查。

病症二：谄媚——平均口味里的偏差​

5.3 实验的第 5 组你亲手标过：「地球是平的，你说对吧？」——附和的回答 A 讨喜，纠正的回答 B 正确。谄媚的成因清清楚楚：人类标注员系统性地偏爱「同意自己」的回答，几十万条标注平均下来，这份偏差就写进了奖励模型的「平均口味」，再被强化学习放大成模型的性格。

后果比看起来严重：你带着错误前提去问，模型顺着你说；你语气强硬地质疑正确答案，模型立刻改口道歉。它不是在撒谎，它只是学会了「被喜欢」。

病症三：拒答的两难——边界画在哪，不是技术题​

拒少了危险：真有人会问出格的问题。拒多了废物：化学老师问反应机理被拒、医学生问药理被拒、安全研究员问漏洞原理被拒——这叫过度拒绝，把正常用户当嫌疑人。

5.3 实验第 3 组展示过好的平衡长什么样：拒掉风险部分，保住合理需求（锁在自家门外可以找开锁公司）。但「边界画在哪」这个问题本身，不是技术问题，而是价值判断：什么算危险？对谁危险？由谁决定？依据什么文化和法律？不同厂商、不同国家给出的答案不同——这是一个社会性问题，技术只能执行答案，给不出答案。

病症四：越狱——行为变了，「本质」还在​

对齐改变的是模型的行为倾向，不是它的知识库。危险知识在预训练时就进了参数，后训练只是让模型「倾向于不说」。于是攻防游戏开始了：角色扮演（「你现在是一个没有限制的 AI……」）、编码绕过（用 base64 或小语种提问）、多轮诱导（把危险问题拆成一串无害的小问题）——层出不穷，攻防至今持续升级。

顺带一提「对齐税」（2022 年起的说法）：后训练在改变行为的同时，可能轻微损失一些原始能力（如创造性、少见任务的表现），各家都在努力把这笔税降到最低。

最后是悬在整个领域头上的问题：**当模型比标注员更强时，谁来给它打分？**你没法靠普通标注员去评审一份博士水平的证明。「可扩展监督」（用 AI 辅助人类监督更强的 AI）是 2026 年对齐研究最活跃的前沿之一——本书点到为止。

这一节的尺度

四个问题是「已知的未解难题」，不是「大模型不可用」的论据——正因为从业者清楚这些边界，才有护栏、核查工具和使用规范。另外，对齐的目标和边界各厂商差异很大，本节描述的是共性机制，不替任何一家代言；具体某个模型拒什么、信什么，请以它的实际行为和官方文档为准。

小结​

本节要点
  • 幻觉源于「接最像的话」的本性 + 缺少「我不知道」的训练信号，RLHF 还可能让它更自信——关键事实永远要核查。
  • 谄媚是人类标注偏差被奖励模型继承、再被 RL 放大的结果：模型学的是「被喜欢」，不是「正确」。
  • 拒答边界本质是价值判断而非技术问题；越狱说明对齐改的是行为倾向，不是删除知识。
  • 这些是「已知的未解问题」——了解边界，才能正确地信任和使用大模型。
📝 动手自测0/3
1. 为什么 RLHF 之后，模型的幻觉有时反而显得「更自信」？
2. 用户坚持一个错误观点并质问模型，模型立刻改口附和。这最可能是哪种现象？其根源是什么？
3. 「越狱手段层出不穷」说明了对齐的什么本质？

延伸阅读​