一句话定义:模态缺失(Missing Modality)指模型本该收到某一路输入——图像、文本、音频、视频中的一种——实际却没收到,只能在信息不完整时做判断。
多模态模型(multimodal model)像一个“会看、会听、会读”的助手。平时它同时拿到图片和文字,融合层(fusion)会把两路信号互相对齐:图里有只猫,文字说“猫在沙发上”,两边一印证,判断就稳。可一旦只给图、不给文字,或只给音频、不给画面,它面对的就不是“少了一点信息”,而是训练时很少见过的输入形态。模型原本学的是“图文一起出现”的统计规律,推理时缺一路,输入分布变了,融合模块拿不到预期的配对信号,表现就容易明显塌陷。
打个比方:你让一个长期靠“看监控+听录音”判断现场的人,突然只听录音猜表情。他不是完全不会,但准确率会掉,因为平时两路信息是互相校准的。生成式多模态模型更明显:缺文字提示时,它可能不知道你要它做什么;缺图像时,它又少了可依据的视觉内容。
它和几个相邻概念容易混:
| 概念 | 是什么 | 和模态缺失的关系 |
|---|---|---|
| 模态缺失 | 某一路输入没来 | 本词条讨论的问题 |
| 模态丢弃 | 训练时故意随机丢掉一路输入 | 一种缓解手段,不是问题本身 |
| 模态噪声 | 输入来了,但模糊、错字、杂音 | 相关但不同:一个是“没有”,一个是“有但脏” |
| 单模态模型 | 本来只设计一路输入 | 不是缺失,是设计如此 |
对从业者,实际意义是:别默认线上永远能拿到完整配对输入。评估时要做单模态消融,看缺图、缺文、缺音频时各自掉多少;训练时可加入模态丢弃(modality dropout)和缺失感知训练,产品侧要有兜底提示和置信度校准。对普通人,遇到多模态工具答得奇怪,先检查是不是少给了它赖以判断的那一路信息。具体支持范围以官方页面为准。
