一句话定义:多图指代(Image Reference)指在一次对话里同时给出好几张图片时,用户用「第一张」「右边那个」「后面那张」这类说法指向其中某一张,而模型需要正确判断到底指哪一张;听起来简单,实际很容易出错。
为什么容易指错
模型拿到的并不是“一叠照片”,而是一串按顺序拼进上下文的图片:每张图被切成若干视觉 token(visual token),再和文字 token 排在同一段序列里。模型对“第几张”的理解,完全依赖图片进入上下文时的排列顺序;而“右边”“上面”这类方位词依赖的是用户屏幕上的排版,排版信息根本没有随图片传过去。于是两件事同时失效:顺序不可见,方位不存在。
打个比方:用户把一叠照片递给毛玻璃后面的助手,说“第三张”,助手只能按自己手里那叠的顺序数;说“右边那张”,助手根本看不到用户的桌面怎么摆。更麻烦的是,上传环节本身就会打乱顺序——网页拖拽、手机一次多选、缩略图自动重排,都可能让用户以为的“第一张”,在模型那里排在后面。
和相邻概念的区别:视觉定位(visual grounding)解决的是“一张图里哪个位置、哪个物体”,多图指代解决的是“这么多张图里是哪一张”,属于跨图消歧;它和文本里的代词消解(coreference resolution)是同一类问题,只是指代对象从词语换成了图片。
| 用户常说的 | 模型实际需要的 | 常出错的原因 |
|---|---|---|
| 第一张、第二张 | 上传并进入上下文的排列顺序 | 顺序用户看不见,拖拽、多选、重排都可能改变它 |
| 右边那个、上面那张 | 屏幕上的版面位置 | 版面信息没有随图片传入 |
| 这两张对比一下 | 明确的分组 | 到底是哪两张,只能靠猜 |
对从业者的意义:核心动作是“显式标注”。上传后按顺序给每张图编号,并在提问里带上简短描述,例如“图1(蓝色包装正面)”“图2(背面标签)”,让序号和描述一起进入上下文;提问时用“图2里写了什么”,而不是“第二张里写了什么”。做产品的,可以在缩略图上直接显示序号,把文件名或序号作为文本一并送进模型,并支持给图片打标签、加备注。评测多图问答能力时,也应把“指代是否明确”作为单独维度来看,而不是只看整体效果;具体接口能力以官方页面为准。
对普通人的意义:把“这个”“那个”换成可验证的参照点——用“标价签那张”“穿红衣服的人那张”“报错截图那张”代替“第三张”。多花五个字,通常就能少一轮返工。
一句话记住:在多图对话里,“第几张”指基于上传顺序的位置,并不是用户看到的位置;说清是哪一张,是提问者的责任。
