跳到主要内容

8.3 多模态：把图像也切成 token

冰箱里有什么​

拍一张冰箱内部的照片发给大模型，问「今晚能做什么菜」——它认出鸡蛋、西红柿和半根葱，然后建议你做西红柿炒蛋（这道菜是5.3 节的老朋友了）。

等等——前八章我们讲的模型只认识文字 token。照片是怎么进 Transformer 的？

万物皆可 token​

答案朴素得出奇：把图像也切成「词」。

回想 1.4 节：文字进模型前，先被切成 token、再变成向量——模型从头到尾只见向量，不见汉字。既然如此，图像凭什么不行？把一张图切成 16×16 像素的小方块（叫 patch），每个方块过一个编码器变成向量——一个方块，就是视觉世界的一个「词」。

一张图  →  几百个小方块  →  几百个向量  →  和文字 token 排进同一个序列\text{一张图} \;\to\; \text{几百个小方块} \;\to\; \text{几百个向量} \;\to\; \text{和文字 token 排进同一个序列}

这就是 ViT（Vision Transformer，2020）的核心洞察：图像块之于视觉，就像词之于语言。从此 Transformer 不挑食了——文字、图块、音频片段，只要能变成向量序列，注意力机制照单全收。

三段式拼接与「原生」路线​

2023 年前后流行的多模态做法是三段式拼接（LLaVA 式）：一个现成的视觉编码器（把图变向量）+ 一个小小的投影层（把视觉向量「翻译」到语言模型的向量空间）+ 一个现成的 LLM。三段拼好后用图文对话数据微调——花小钱办大事，让开源社区迅速人手一个「能看图的模型」。

2024 年起，旗舰模型转向原生多模态（GPT-4o、Gemini 式）：不再拼接两个预训练好的模型，而是从头把图、文、音混在一起训练。最直观的收益是端到端语音对话——语音进、语音出，不再经过「语音转文字 → 思考 → 文字转语音」的三级接力，延迟从几秒降到几百毫秒，能听出你的语气、也能用叹气回应你。

顺带划清一条界线：以上讲的都是理解（图像进、文字出）。反方向的生成（文字进、图像出，如文生图）主力是另一条技术线——扩散模型，本书不展开，只需记住这是两套不同的机器。语音、视频同理：切片、变向量、进序列，配方一致。

这个类比在哪里不准确？

「图像块 = 视觉的词」很好记，但有个重要差别：文字 token 来自一个离散的固定词表（1.3 节的 BPE），图像 patch 的向量是连续的、无穷多种。另外别高估「看得懂」：多模态幻觉比文字幻觉更隐蔽——图里没有的东西它也能言之凿凿地「看见」；数清图里有几只猫、判断左右方位、读长文档截图，都是 2025 年常见的翻车现场。

本节要点
  • 多模态的核心思想：万物皆可 token——图像切块变向量，与文字同序列处理。
  • 三段式拼接（视觉编码器 + 投影层 + LLM）花小钱办大事；原生多模态从头混训，语音对话延迟大降（2024）。
  • 理解（图进文出）与生成（文进图出/扩散模型）是两条技术线，别混为一谈。
  • 多模态幻觉更隐蔽：数数、方位、长文档截图仍是常见短板（2025）。
📝 动手自测0/3
1. 图像是怎么进入 Transformer 的？
2. 「三段式」多模态（LLaVA 式）的三段是什么？
3. 原生多模态（GPT-4o 式）相比三段式拼接，最直观的收益是什么？

延伸阅读​