一句话定义：视觉遗忘（Visual Forgetting）指多模态模型在做完以图像任务为主的微调（fine-tuning）之后，图像相关能力明显提升，但原本具备的语言能力却出现了可测量的下滑，表现为写作变差、推理变浅、指令跟随变松。
原理：一个生活化的比方
想象一位写了很多年文案的编辑，被送去参加三个月的摄影特训。这三个月里，他每天只练构图、调色、修图，几乎不写字。结业时他的照片拍得很好，但回头写稿时，句子变短了，形容词变多了，逻辑链条接不上了，还总爱用“这张图氛围感很强”这类空话。
模型也是这样。在多模态后训练（post-training）阶段，损失主要由图像相关的 token 贡献，梯度也主要在这些方向上更新。而视觉指令数据往往有这样的特点：文本短、模板化、描述性强、推理链弱，比如“图里有什么”“这是什么颜色”。如果长期只喂这类数据，模型输出的文本分布就会整体向“短、浅、模板化”偏移。再加上视觉投影层（projector）与语言主干联合更新时，学习率和数据配比一旦失衡，这种偏移就会被放大。
所以问题通常不在于“模型变笨了”，而在于训练信号的分布变了：模型把容量和习惯都挪去服务视觉任务了。
和相邻概念的区别
| 概念 | 关注点 | 典型表现 |
|---|---|---|
| 视觉遗忘 | 多模态后训练中语言能力的定向下滑 | 图像任务变好，写作、推理、指令跟随变差 |
| AI 词典：灾难性遗忘">灾难性遗忘（Catastrophic Forgetting） | 通用现象：学新任务、忘旧任务 | 旧任务指标全面下降，不限于语言 |
| 过拟合（Overfitting） | 训练数据分布本身 | 训练集表现好，测试集表现差 |
简单说：视觉遗忘是灾难性遗忘在多模态后训练里的一个具体切面，而且特指“语言”这一维度；过拟合则常常是诱因之一，但不是全部原因。
对从业者和普通人的意义
对做模型的人：后训练数据里要保留一定比例的纯文本指令数据；评测不能只跑视觉 benchmark，还要给文本侧的通用能力做回归测试，把写作、长链推理、指令跟随都纳入验收；训练策略上可以考虑冻结部分语言层，或用参数高效微调（PEFT）来限制改动范围。具体配比各家不同，以公开技术文档为准。
对普通使用者：一个模型宣布“视觉能力大幅升级”，不代表其他方面没有退步。把你最在意的那几个 prompt 存成一个小回归集，每次换版本都跑一遍，比只看版本号可靠得多。