跳到主内容
快讯直播
AI智模界
AI 词典

FFN 扩展比:中间层为何比隐藏维度宽 4 倍

一句话定义:FFN 扩展比(Expansion Ratio)指 Transformer 每一层中前馈网络(Feed-Forward Network,FFN)的中间维度 d_ff 与模型隐藏维度 d_model 的比值,最经典的取值是 4。

它在模型里干什么

一个 Transformer 层大致做两件事。自注意力(self-attention)让不同位置的 token 互相交流、交换信息;FFN 紧接着对每个 token 单独做一次深加工:先把向量升到一个更宽的空间,过一次非线性激活,再压回原来的宽度。结构上就是 d_model → d_ff → d_model,两个线性层夹一个激活函数,中间那个 d_ff 有多宽,就是扩展比说了算。

打个比方:注意力像开会,大家互通有无;FFN 像散会后每个人回工位写笔记,笔记不外传,但笔记写得多厚,决定了这个人真正消化了多少东西。工位桌面太小,复杂想法摊不开;桌面宽一些,特征被摊到高维空间里,更容易被线性地切开、组合,再压缩回原来的表示。先扩后压,本质上是一个瓶颈结构:宽的那一层负责“拆解”,窄的那一层负责“归纳”。

为什么偏偏是 4

原始 Transformer 论文取 d_model=512、d_ff=2048,之后大家沿用了这个比例。它是经验和算力平衡的产物,不是理论推导出的最优解。从参数账上看:注意力部分约 4·d²,FFN 部分约 2·d·d_ff,当比例为 4 时是 8·d²,也就是说每层约三分之二的参数堆在 FFN 里。这正是“模型的知识大量存在 FFN 中”这种说法的来源,也是混合专家(Mixture-of-Experts,MoE)主要拿 FFN 开刀、把一个大 FFN 拆成多个专家、每次只激活少数几个的原因。

和相邻概念的区别

概念指什么常见情况
隐藏维度 d_model残差流的宽度,token 表示的主干道由整体模型规模决定
FFN 扩展比d_ff 相对 d_model 的倍数原始 ReLU FFN 取 4;门控变体约 8/3
注意力头数 / 头维度注意力内部怎么切分与扩展比无直接关系
专家数(MoE)FFN 被拆成几份、激活几份扩展比讲单份多宽,专家数讲有几份

注意,“模型很宽”和“中间层很宽”是两件事:前者说 d_model,后者说扩展比。

改这个倍数会怎样

调大:中间层容量变大,能组合更复杂的特征,但参数量、显存和计算量同步上涨,数据不够时容易过拟合;推理时 FFN 往往是访存瓶颈,参数变多会直接变慢。调小:省资源,但 FFN 表达力下降,事实性知识的记忆通常先受影响。工程上还有一条经验:d_ff 一般取硬件友好的整数倍(如 128 或 256 的倍数),矩阵乘才跑得高效。另外,AI 词典:SwiGLU">SwiGLU 这类门控结构要用三个矩阵而不是两个,为了把参数量维持在相当于 4 倍 ReLU FFN 的水平,中间维度通常缩到约 8/3 倍 d_model,这是“扩展比”在不同 FFN 变体间不能直接横向比较的原因。

对从业者,它是调结构时的第一批超参之一;对普通职场人,记住一句话就够了:模型参数的大头在 FFN,扩展比决定了这块“草稿纸”有多厚。具体到某个模型用了多少,以官方页面或配置文件的说明为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。