一句话定义：VLM（Vision-Language Model，视觉语言模型）是在语言模型前面接一段“图像翻译器”的模型。它把一张图切碎、编码成一串视觉 token，和文字 token 拼进同一条输入序列，再由语言模型像处理文本一样逐个生成输出。
它如何“看见”
关键在于图像被改写成语言模型本来就能处理的输入形式——token，而不在于模型长了眼睛。
流程大致三步：先把图片切成小方块（图像块，patch，常见做法是每格 14×14 或 16×16 像素），每个方块拉平成一个向量；再用视觉编码器（通常是 ViT，Vision Transformer）把这堆方块编码成一串特征向量；最后通过一个投影层（projector / adapter），把这串向量换算到语言模型的词嵌入空间。换算完，它们就成了语言模型输入里的特殊 token——语义上大致相当于“这里有一片像猫耳朵的纹理”。
打个比方：语言模型是一个只会读文字的读者，图像则像一门外语。VLM 要做的是请一位同声传译，把整幅画当场译成读者能顺着读下去的“句子”——它并不直接教读者看图；只不过这串句子是模型内部的向量，不是中文。翻译环节质量差，读者再聪明也会答错；这正是 VLM 幻觉的主要来源之一。
和相邻概念的区别
| 概念 | 输入 | 输出 | 典型能力 |
|---|---|---|---|
| LLM | 纯文本 token | 文本 | 问答、写作 |
| CLIP 类双塔模型 | 图与文分别编码 | 相似度分数 | 图文匹配、检索 |
| OCR + LLM 流水线 | 图先转成文字 | 文本 | 读印刷体文字 |
| VLM | 视觉 token + 文本 token | 文本 | 看图问答、截图理解、图表描述 |
要点：CLIP 只判断图文“配不配”，不生成；OCR 流水线会丢掉版式、颜色和场景，遇到图表、手写、实物照片就吃力；VLM 把视觉信息直接送进生成式语言模型，因此能回答“这个按钮为什么是灰的”这类问题。
对从业者的意义
工程师：图像 token 的数量会直接占用上下文预算，分辨率越高 token 越多、成本越高；切图大小和是否做 token 压缩是最先要调的参数。训练上常见做法是先冻结视觉编码器、只训练投影层做对齐，再放开做微调">指令微调。排查答错时，先看“翻译环节”——图有没有被切坏、缩放有没有糊掉。
普通职场人：扫描件、表格截图、白板照片、软件界面都能直接拿来问，比手工录入快得多。但涉及小字、数字、图表读数，务必自己核一遍——模型很可能给出一个语法通顺、数字错误的答案。具体能力边界以各家官方页面为准。