一句话定义：模态崩溃（Modality Collapse）指多模态模型在训练过程中逐渐把决策重心压到某一种模态上（通常是最容易学的文本），对其他模态（图像、音频等）的利用能力退化，甚至形同虚设。
它是怎么发生的
多模态模型训练时，图文对里的文本标签信息密度高、梯度信号干净、损失下降快；而图像侧的表征要学到细粒度空间关系、材质、布局，难度大得多。优化器是“懒惰”的：哪条路下坡快就走哪条。于是模型很快学会“看图里有没有猫”，而不是“看懂这张图”。图像编码器的输出逐渐被当成背景噪声，文本分支一家独大。
打个比方：一个项目组里有个特别能说会道的同事，每次开会都是他发言，另一个技术同事讲得慢、要求多，大家渐渐不等他开口就拍板了。时间一长，那位技术同事还在工位上，但已经没人听他的了——这就是“崩溃”：通道没断，权重没了。
更隐蔽的一点是，模型会把图像“翻译”成文本能表达的那部分。图里有几只猫、什么颜色，能答对；但猫在画面的左边还是右边、两只猫谁离镜头更近，答不对。它学会的是“用文字描述图”，不是“用图理解世界”。
和几个近邻概念的区别
| 概念 | 核心问题 | 出问题的地方 |
|---|---|---|
| 模态崩溃 | 模态间话语权失衡，某模态被忽略 | 优化过程导致的表征退化 |
| 模态不平衡（Modality Imbalance） | 各模态学习速度不一致 | 训练动态与数据分布 |
| AI 词典：灾难性遗忘">灾难性遗忘（Catastrophic Forgetting） | 学新任务忘了旧任务 | 跨任务、跨阶段 |
| 捷径学习（Shortcut Learning） | 模型走“容易但对”的歪路 | 可看作模态崩溃的成因之一 |
简单说：模态不平衡是“症状描述”，模态崩溃是它恶化后的结果；灾难性遗忘是“换任务忘旧账”，模态崩溃是“同一任务里弃用某个器官”；捷径学习则是背后的机制。
对从业者和普通人的意义
从业者最实用的检查手段是单模态消融：推理时把图像输入置空、打乱或换成噪声，看指标掉多少。如果几乎不掉，说明视觉分支已经“被架空”，宣传里的“多模态”要打个问号。缓解思路也很直白——训练时做模态 dropout（随机丢掉一路输入）、给各模态损失分别配权重、用对比学习把两路表征拉到同一空间，别让模型轻易找到单模态捷径。
对普通使用者，这意味着评测多模态产品时，别只问“这张图里有什么”，要问只有看图才能答的问题：表格里第三行第二列是什么、这张流程图哪一步可能出错、这个按钮在页面哪个位置。文字描述能糊弄过去的题，测不出真本事。具体的模型能力与限制，以官方页面为准。