跳到主内容
快讯直播
AI智模界
AI 词典

自回归扩散:一步步生成,每一步都靠扩散

一句话定义:自回归扩散(AI 词典:Autoregressive">Autoregressive Diffusion)把“按顺序一个一个生成”的自回归结构和“从噪声里逐步去噪还原”的扩散模型缝在一起——序列仍然从左到右推进,但每推进一步,不是直接吐出一个确定值,而是用扩散过程生成这一整步的概率分布,再从里面采样。

它是怎么工作的

先回忆两件事。自回归(Autoregressive)像上菜:上一道菜是什么,决定下一道菜怎么做,一切按顺序来。扩散(Diffusion)像熬汤:从一锅乱炖开始,一步步把杂质滤掉,最后得到一碗清汤。

自回归扩散就是把两件事套在一起。生成第一段时,先撒一把噪声,用若干步去噪把它“擦”成一个合理的取值;敲定之后,把它当作已知条件,再对第二段撒噪声、去噪……如此循环。

和朴素自回归每步只输出一个 softmax 分布、采一个 token 相比,这里每一步本身就是一次完整的扩散采样,于是有三个好处:

  • 一步可以生成一整段连续向量,内部自带一致性,不必假设“每个维度互相独立”;
  • 输出天然是分布而不是点估计,多采几次就得到多条不同的轨迹;
  • 不需要固定的词表,连续值可以直接建模。

和扩散语言模型差在哪

扩散语言模型(Diffusion Language Model)是整句话同时去噪:一开始全是噪声或掩码,反复迭代把整句修出来,生成顺序不固定,写好的部分还能回头改。自回归扩散保留了严格的从左到右顺序,扩散只服务于“当前这一步怎么生成”。前者像全盘推倒重画,后者像一行一行往下写、但每一行都先打草稿。

自回归扩散扩散语言模型经典自回归
生成顺序严格从左到右全序列并行、反复修正从左到右
每步产出一个分布/一段向量整句的联合修正单个 token 概率
连续性天然支持连续值多用于离散 token需离散化或加输出头
推理速度较慢,每步多次去噪迭代轮数可调最快

对做时序的人有什么用

在市场数据这类任务上,用法很直接:给定过去若干天的行情,模型输出下一天的收益或波动分布;采样一个值拼回历史,再输出下一天,如此滚动,就得到一条未来路径。重复几百次,就得到一组情景,可以拿来做风险敞口、压力测试和仓位规模的评估——这些场景要的恰恰是“分布”,而不是一个点预测。

局限

自回归的老毛病照旧:一步错了,后面顺着错下去,越滚越偏。扩散部分又让推理变慢,每步要跑若干次去噪。更关键的是,市场数据信噪比极低、分布还会漂移,模型很容易学到“历史波动长什么样”,而不是“接下来会怎么走”。它给出的是条件下的一组可能性,不是预言。具体实现细节与最新进展,以官方页面和论文原文为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。