纯文本大模型只能处理文字。但现实世界的信息大部分是图像、视频、音频。多模态大模型让AI能同时理解多种类型的信息。

视觉语言模型（VLM）

核心思路是在文本大模型的基础上接入视觉编码器。图像经过视觉编码器提取特征，转换成特殊的视觉token，和文本token一起送入语言模型。

主流架构有三种。Flamingo式：用交叉注意力把视觉特征注入语言模型。Qwen-VL式：用视觉编码器+适配器把图像转换成token序列，拼接到文本token前面。LLaVA式：简单的线性投影层连接视觉编码器和语言模型。

开源选择

Qwen2.5-VL是目前中文多模态的最强选择。支持图像理解、文档解析、图表分析。本地部署推荐7B版本。

LLaVA-NeXT是学术界常用的基线模型。训练代码完全开源，适合做研究和二次开发。

实际应用

文档OCR：上传图片直接提取文字和表格。图表分析：理解折线图、柱状图的数据含义。UI理解：分析截图中界面元素的功能。

使用建议

多模态模型的显存需求比纯文本模型大。7B的VLM大约需要16GB显存。如果只需要OCR功能，用PaddleOCR更高效。多模态适合需要"看图说话"的复杂场景。