一句话定义:自回归扩散(AI 词典:Autoregressive">Autoregressive Diffusion)把“按顺序一个一个生成”的自回归结构和“从噪声里逐步去噪还原”的扩散模型缝在一起——序列仍然从左到右推进,但每推进一步,不是直接吐出一个确定值,而是用扩散过程生成这一整步的概率分布,再从里面采样。
它是怎么工作的
先回忆两件事。自回归(Autoregressive)像上菜:上一道菜是什么,决定下一道菜怎么做,一切按顺序来。扩散(Diffusion)像熬汤:从一锅乱炖开始,一步步把杂质滤掉,最后得到一碗清汤。
自回归扩散就是把两件事套在一起。生成第一段时,先撒一把噪声,用若干步去噪把它“擦”成一个合理的取值;敲定之后,把它当作已知条件,再对第二段撒噪声、去噪……如此循环。
和朴素自回归每步只输出一个 softmax 分布、采一个 token 相比,这里每一步本身就是一次完整的扩散采样,于是有三个好处:
- 一步可以生成一整段连续向量,内部自带一致性,不必假设“每个维度互相独立”;
- 输出天然是分布而不是点估计,多采几次就得到多条不同的轨迹;
- 不需要固定的词表,连续值可以直接建模。
和扩散语言模型差在哪
扩散语言模型(Diffusion Language Model)是整句话同时去噪:一开始全是噪声或掩码,反复迭代把整句修出来,生成顺序不固定,写好的部分还能回头改。自回归扩散保留了严格的从左到右顺序,扩散只服务于“当前这一步怎么生成”。前者像全盘推倒重画,后者像一行一行往下写、但每一行都先打草稿。
| 自回归扩散 | 扩散语言模型 | 经典自回归 | |
|---|---|---|---|
| 生成顺序 | 严格从左到右 | 全序列并行、反复修正 | 从左到右 |
| 每步产出 | 一个分布/一段向量 | 整句的联合修正 | 单个 token 概率 |
| 连续性 | 天然支持连续值 | 多用于离散 token | 需离散化或加输出头 |
| 推理速度 | 较慢,每步多次去噪 | 迭代轮数可调 | 最快 |
对做时序的人有什么用
在市场数据这类任务上,用法很直接:给定过去若干天的行情,模型输出下一天的收益或波动分布;采样一个值拼回历史,再输出下一天,如此滚动,就得到一条未来路径。重复几百次,就得到一组情景,可以拿来做风险敞口、压力测试和仓位规模的评估——这些场景要的恰恰是“分布”,而不是一个点预测。
局限
自回归的老毛病照旧:一步错了,后面顺着错下去,越滚越偏。扩散部分又让推理变慢,每步要跑若干次去噪。更关键的是,市场数据信噪比极低、分布还会漂移,模型很容易学到“历史波动长什么样”,而不是“接下来会怎么走”。它给出的是条件下的一组可能性,不是预言。具体实现细节与最新进展,以官方页面和论文原文为准。
