一句话定义：图文交错输入（Interleaved Image-Text）指在把内容输入多模态模型时，按人类阅读的自然顺序把文字和图片交替排成一条序列，即“文—图—文—图—文”，而不是把所有文字堆在前面、图片堆在后面。
把图放对位置，指代才有着落
想象你给朋友讲一趟旅行：“我住的那家民宿（图1）阳台正对海（图2），第二天我就在阳台吃的早饭（图3）。”朋友一边听一边翻照片，每句话都能立刻对上画面。反过来，你要是先把三天行程一口气讲完，最后才把二十张照片一起发过去，对方多半会问：哪张是阳台？哪张是早饭？图2和图5是不是一个地方？
模型遇到的情况很类似。交错输入会把每张图放在序列中的具体位置，图前面那几句是它的“说明书”，图后面那几句是“接着说的话”。生成后面的文字时，模型可以就近回看紧邻的那张图，于是“它”“这个”“上图”这类指代就有了明确的指向。技术上说，这靠的是位置信息（position embedding）和注意力（attention）的就近对齐：距离越近、上下文越完整，图文配对就越稳。
而“先文字后图片”会带来两个麻烦：一是文字里说“上面那个红色按钮”时，图片根本还没出现，模型得在很长距离上回溯匹配，容易配错；二是图片集中堆在末尾、中间没有文字分隔，多张图彼此缺少区分线索，模型容易把“图1”和“图2”的细节混在一起。
| 对比项 | 先文字后图片 | 图文交错 |
|---|---|---|
| 排列方式 | 文字段 + 图片段 | 文—图—文—图 |
| 指代锚点 | 长距离回溯，易错配 | 就近对齐，指向清晰 |
| 多图区分 | 图挤在一起，易混 | 每张图都有上下文的“标签” |
| 阅读顺序 | 与原始材料脱节 | 保留原始叙事顺序 |
和几个相邻概念的区别
- 多图输入（multi-image input）只是说“一次能传好几张图”，讲的是数量；交错输入讲的是顺序和结构。
- 图像描述（image captioning）是为图生成一段文字；交错输入是把已有的图文按原顺序组织好。
- 文档解析里把 PDF 转成一堆纯文本再喂给模型，同样会丢掉版面顺序，这恰恰是交错输入想避免的。
对从业者和普通人的意义
做检索增强（RAG）、文档问答、商品详情页、教程类内容，以及多轮对话里带截图提问时，别在预处理阶段把图片抽出来统一塞到末尾，尽量保留原始的交错顺序，并在每张图旁边留下能指向它的那句话。日常使用时也一样：一边写步骤一边配图，再问“第三步这张图哪里不对”，比先写一大段再传图，模型的回答通常更靠谱。具体支持哪种输入格式，以各家官方页面为准。