一句话定义：音视频联合扩散（Joint Audio-Video Diffusion）指用同一个扩散模型（AI 词典：Diffusion Model">Diffusion Model），在一次去噪过程中同时生成视频画面和与之同步的声音，而不是先出画面再另外配音。
它怎么工作
扩散模型的基本动作是“从纯噪声里一步步擦出内容”。传统做法是两条流水线：视频模型生成画面帧，音频模型或音效库再补声音，最后靠人工或对齐工具把两者拼在一起。
联合扩散把视频的隐表示（latent）和音频的隐表示放进同一个序列，共享注意力层，时间轴对齐。每去噪一步，两路信息互相可见：画面里玻璃杯落到桌面，音频这边就倾向于生成撞击声；人物张嘴，音频这边倾向于生成语音。声音和画面是同一个模型在同一次推理中联合决定的。
打个比方：拼接流水线像“先拍完默片，再找配音演员对着口型配”，联合扩散像“演员一边演一边出声”，口型和声音天生是一件事。也可以用乐队比喻：两个乐手不各录各的再混音，而是看同一根指挥棒。
31B→14B、6 步 INT8 到底省了什么
大模型效果好但跑不动，于是做压缩：
- 参数量 31B→14B：用蒸馏（Distillation）把大“教师”模型的行为教给小“学生”模型，模型体积和显存占用大幅下降。
- 去噪步数降到 6 步：普通采样要几十步，每步都是一次完整前向计算；步数蒸馏让学生学会“一步跨得更大”，推理次数成倍减少。
- INT8 量化（Quantization）：权重和计算从 FP16/BF16 降到 8 位整数，单步计算和显存带宽压力再降一档。
三项叠加，省的是显存、单次生成时间和部署成本，让模型从演示走向能真正服务用户的产品。代价通常在细节上：长尾音效、复杂场景下的同步精度、极端运动的稳定性可能不如教师模型。具体参数规模、步数与精度配置，以官方技术报告和页面为准。
和“视频模型 + 后期配音”的本质差别
| 维度 | 联合扩散 | 视频模型 + 后期配音 |
|---|---|---|
| 声音来源 | 同一次去噪生成 | 另一个模型或音效库 |
| 同步方式 | 逐帧建模，天然对齐 | 靠时间戳工具或人工对 |
| 可控性 | 改画面会牵动声音 | 两条轨道各自独立修改 |
| 出错表现 | 声画一起错 | 声画各行其是，观感割裂 |
| 工程链路 | 一次推理 | 两次推理 + 对齐环节 |
注意两者不是替代关系：联合扩散擅长“真实同期声”这类强耦合场景，但需要精细配乐、旁白时，独立音频轨道仍然更好改。
对从业者和普通人的意义
对从业者：真正的瓶颈往往不是模型，而是数据——训练需要大量带真实同期声的视频素材，这种数据比纯画面素材稀缺得多；评估也不能只看画质，要看音画同步性这类新指标。
对普通人：短视频口播、产品演示、游戏素材、无障碍音画描述，都可能从“生成一次就带声音”里受益，少一道工序，也少一次声画对不上的返工。