跳到主要内容

K7.4 多模态 RAG：图表和扫描件也能查

纯文本 RAG 的盲区​

到这里，我们讲的 RAG 都在和文字打交道。可真实的企业知识库里，远不止文字：

  • 产品的架构图、电路图纸；
  • 财报里的图表、数据表格；
  • 扫描的合同、发票（一张张图片，不是文字）；
  • 带截图的操作手册。

用户问「这张架构图里，数据库连了哪些服务」——答案就在一张图里。可纯文本 RAG 对图片睁眼瞎：它的检索、嵌入全是为文字设计的，图里的信息它一个字都读不到。

让非文字内容也能被检索​

多模态 RAG要解决的就是这个盲区：让图片、图表、扫描件也变成可检索的知识。 思路和上篇 8.3 多模态一脉相承——「万物皆可变成向量」。具体有两条路线：

路线一：转成文字再检索。 用 OCR（把扫描件、图里的文字识别出来）或图像描述模型（给图片生成一段文字说明），把非文字内容转成文字，再走我们学过的普通 RAG。简单、能复用现有流水线，但会丢信息——一张复杂图表转成的文字描述，很难保住所有细节和空间关系。

路线二：多模态向量。 用能同时理解图和文的嵌入模型（如 CLIP 一族），把图片直接编码成向量，和文字放在同一个向量空间里。这样图和文可以互相检索——用文字查图、用图查文都行，信息保留得更完整。这是更强的路线，2024-2026 年快速成熟。

一个绕不开的难点是切块（回扣 K2）：一份带复杂图表的 PDF 怎么切？图和它周围的说明文字怎么保持关联？表格的行列结构在转换时怎么不散架？这些结构化内容的处理，是多模态 RAG 最费工夫的地方。

多模态把幻觉也带进了图像

纯文本 RAG 的幻觉（K5、K6）在这里有了新版本：模型可能**「看错」图表里的数字、把柱状图的高低读反、或者描述出图里根本没有的东西。这源于多模态感知本身的短板——上篇 8.3就说过，数图表里的数、认复杂版式，仍是当前模型的弱项。所以在财报分析、医疗影像这类高风险场景，多模态 RAG 的输出尤其需要人工复核**，别全信（2025-2026）。

现状：文档理解是最大的落地场​

2025-2026 年，多模态 RAG 里跑得最快的，是**「文档理解」场景——对带图表、版式复杂的 PDF 做问答。这个需求巨大（合同、财报、论文、手册几乎都是这种 PDF），也催生了一批专门的技术。但要诚实地说：它仍不如纯文本 RAG 稳**，多模态感知的短板还在，前沿仍在快速爬坡。

小结​

本节要点
  • 纯文本 RAG 对图片、图表、扫描件睁眼瞎——而企业知识库里这些内容大量存在。
  • 多模态 RAG 让非文字内容也能被检索，两条路线：转成文字再检索（简单但丢信息）、多模态向量（图文同空间、互相检索，更强）。
  • 难点在切块——复杂图表、表格的结构怎么保住（回扣 K2）。
  • 它把幻觉也带进了图像（看错图表里的数），高风险场景要人工复核；2025-2026「文档理解」是最大落地场，但仍不如纯文本稳。
📝 动手自测0/3
1. 为什么纯文本 RAG 处理不了「这张架构图里数据库连了哪些服务」这类问题？
2. 多模态 RAG 的「转成文字再检索」和「多模态向量」两条路线，主要区别是？
3. 关于多模态 RAG 的风险，哪个说法准确？

延伸阅读​