一句话定义：音效生成（AI SFX，也叫 AI Foley）就是用模型根据画面或文字提示，自动合成脚步声、关门声、雨声这类"具体声音事件"的技术。
传统上这些声音靠拟音师（Foley artist）在棚里对着画面现场演出来。AI 的常见做法是视频生成音频（video-to-audio, V2A）：把视频帧序列和一句提示词一起喂给模型，模型在频谱图或潜变量空间里预测出与画面对齐的声波，再解码回波形。
打个比方：配乐像刷墙的底色，刷匀就行，没人盯着某半秒的旋律；配音效像往墙上钉钉子，每一颗都得钉在正确的钉眼上。配乐管"氛围"，音效管"事件"。
难在哪
- 帧级对齐。脚步落地、门撞上门框都只在一瞬间，差几十毫秒观众就觉得假。音乐整体铺开，对时间偏移宽容得多。
- 瞬态（transient）细节。音效常常只有几十到几百毫秒，能量集中在起音那一下，音色却由材质决定——高跟鞋踩瓷砖和运动鞋踩木地板完全是两回事，模型得从模糊画面里猜出材质、力度和地面。
- 稀疏与静音。配乐可以两分钟不停，音效大部分时间是安静的。模型既要判断"这里该不该有声音"，还得在安静处不冒杂音。漏掉一声轻响，比多弹一个音符更容易被听出来。
| 维度 | 音乐生成 | 音效生成 |
|---|---|---|
| 时间尺度 | 数十秒到数分钟 | 几十毫秒到几秒 |
| 对齐要求 | 氛围对即可 | 帧级同步 |
| 时间密度 | 持续铺满 | 大部分静音 |
| 出错感受 | 略显平淡 | 立刻出戏 |
实际意义：影视和短视频后期，拟音是笔绕不开的成本，个人创作者基本会跳过这一步。AI 音效最现实的用法是"自动铺底"——粗剪完成，一键补上环境音和动作音，人工再挑再精修；游戏里则用它生成大量变体，避免同一个声音反复播放。
落地有两个坑：画面里有人声对白时，音效得避开语音频段，或先做声源分离（source separation），否则会糊成一团；训练数据的版权与授权也需确认，具体以各家官方页面为准。