一句话定义：多模态（multimodal）指同一个模型能同时接收并理解多种类型的信息——文本、图像、语音，甚至视频——并在它们之间建立对应关系。
人类的日常理解本来就是多通道的：你看到一只猫跳上窗台，听到一声“喵”，同时读到“猫”这个字，三件事在大脑里指向同一个概念。多模态模型做的是类似的事——把不同形态的信息都转换成同一种内部表示，通常叫向量（vector），也就是一串数字。图像被切成小块编码成向量，语音按时间帧编码成向量，文字按词或子词编码成向量。当它们进入同一个“表示空间”，模型就能判断这段声音、这张图、这句话说的是不是同一件事。
这种对应关系不是天生的，而是从大量成对样本里学出来的：“图片+配文”“录音+转写文本”反复出现，模型逐渐让描述同一事物的向量彼此靠近。于是当你上传一张图表问“趋势怎么样”，它不是先做图像识别再单独写句子，而是在统一表示里完成理解与表达。常见用法包括：看图答疑、对着手机说话让助手办事、把一段会议录音直接整理成纪要。
它和相邻概念的区别值得说清：
| 概念 | 处理形态 | 跨形态理解 | 直观感受 |
|---|---|---|---|
| 单模态模型 | 只处理文本 | 否 | 能聊天、能写文 |
| 多模型流水线 | 语音→文本→语音 | 拼接式，信息有损 | 能用，但语气、环境音丢了 |
| 多模态模型 | 文本+图像+语音统一 | 是 | 能看图说话、听音记事 |
流水线方案是把“语音识别→文本模型→语音合成”串起来，每一步都会丢信息（语气、背景声、画面细节），错误还会逐级累积；多模态则是让这些信息从一开始就在同一处汇合。它和多任务也不同：多任务是一个模型做很多任务，但输入输出可能还是同一种形态。
对从业者来说，多模态意味着不必为每种数据单独搭一套流程，接口和评估方式趋于统一；难点则集中在配对数据的成本、对齐质量，以及“没看清却说得像真的一样”的幻觉问题。对普通职场人来说，交互方式从“打字描述”变成“直接给它看、说给它听”，输入门槛明显下降。但也正因为它说得流畅，更要养成核对原始资料的习惯——涉及具体能力边界和可用范围，以官方页面为准。