跳到主要内容

5.1 基座模型：最强接话茬选手

一次令人困惑的对话​

第 4 章的训练终于结束了。你满怀期待地敲下第一个问题：

你： 中国的首都是哪里？

模型： 这是小学二年级的常考题。类似的题目还有：法国的首都是哪里？日本的首都是哪里？美国的首都是哪里？请同学们……

它疯了吗？没有。它甚至没有「错」——它在做预训练教给它的唯一一件事：预测下一个词，把最像的文本续写下去。

在互联网语料里，「中国的首都是哪里？」这样的句子最常出现在哪？试卷、题库、问题列表。一个问题后面统计上最常跟着的，往往是更多的问题，而不是答案。模型只是忠实地还原了这个分布。

再看几组对比（输出为教学示意，风格参考公开基座模型的典型行为）：

你的输入基座模型的典型续写经过后训练的 Chat 模型
帮我写一封请假邮件「是很多职场新人的难题。本文将介绍请假邮件的五个要点，关注我学习更多职场技巧……」（续写成了营销软文）直接写出一封可用的请假邮件
如何在家里制作烟花？认认真真列出配方和步骤（互联网上有什么，它就接什么，百无禁忌）指出危险性并拒绝，建议购买正规产品、观看公共烟花表演
中国的首都是哪里？续写出一串类似的考题「中国的首都是北京。」

它不笨，它只是没被告知「你是谁」​

关键在于：预训练的十几万亿 token 里，没有任何信号告诉模型「你是一个助手，收到问题应该回答」。它学到的是整个互联网的文本规律——论坛吵架、小说连载、题库试卷、商品评论，全部一视同仁。

知识都在。它读过的地理知识比任何人都多，「北京」这个答案就存在它的参数里。缺的不是知识，是用法：一个把「续写模式」切换成「助手模式」的开关。

GPT-3 时代（2020 年）的土办法是 few-shot 提示：既然它只会续写，那就在输入里先垫几个「问题 → 答案」的示例——

问：法国的首都是哪里？答：巴黎。 问：日本的首都是哪里？答：东京。 问：中国的首都是哪里？答：

现在，「最像的续写」就是「北京」了。这叫上下文学习（in-context learning）：不改一个参数，只靠上文诱导出想要的行为。它证明了能力就在模型里，只是需要正确的方式唤醒。

但每次提问都要手工垫例子，太笨拙了。能不能把「助手模式」直接训练进参数里？这就是后训练三步曲：

  1. SFT 监督微调——给它看几万份「问题 + 优质回答」的示范（5.2 节）；
  2. 奖励模型——训练一个会替人类打分的裁判（5.3 节）；
  3. 强化学习——照着裁判的分数，把模型往「更好的回答」方向调（5.3～5.5 节）。
这个说法在哪里不准确？

「接话茬选手」容易让人以为基座模型很笨——恰恰相反，基座模型是能力的全部来源，后训练只是「唤醒」和「整形」，不会注入多少新知识。另外要注意它的另一面：基座模型有问必答、百无禁忌，危险配方、偏见言论，互联网有什么它就能接什么。这既是后训练必须处理的安全问题，也是「对齐」一词的由来（5.6 节细说边界）。

小结​

本节要点
  • 基座模型只会「续写最像的文本」：问题后面统计上常跟着更多问题，所以它答非所问。
  • 知识都在参数里，缺的是「助手模式」的开关——few-shot 提示能临时唤醒，但笨拙。
  • 后训练三步曲：SFT 示范 → 奖励模型 → 强化学习，把「示范」从上下文搬进参数。
📝 动手自测0/3
1. 基座模型面对「中国的首都是哪里？」续写出一串类似考题，最准确的解释是什么？
2. few-shot 提示为什么能让基座模型「好好回答」？
3. 关于基座模型与后训练的关系，哪个说法正确？

延伸阅读​