一句话定义:A4B 是模型名里的后缀,读作“总参数-A-激活参数”,A 是 Activated(激活)的首字母。比如 Gemma-4-26B-A4B,意思是这个模型一共存了 260 亿个参数,但每生成一个 token(词元,可粗略理解为“一个字或一个词片段”),只有约 40 亿个参数真正参与计算。
怎么读这个后缀
横杠前面是总参数量(total parameters),也就是模型全部权重的规模,它决定了你下载、存放时要装下的全部参数;A 后面是激活参数量(activated parameters),指处理每个 token 时真正参与计算的那部分参数。Qwen3-30B-A3B 同理:30B 是总参数规模,A3B 指每次只激活约 30 亿。
打个比方:一家医院有三十个科室,你看一次病只挂一个号,只惊动一个科室的医生。医院的规模是 30B,你这次就诊的实际工作量是 3B。图书馆也一样:藏书百万册,你写一篇稿子只借了五本。
为什么能“只点亮一部分”
因为这类模型用的是混合专家架构(Mixture of Experts, MoE)。传统稠密模型(dense model)里,每个 token 都要穿过整个前馈网络(FFN);MoE 把 FFN 拆成几十上百个“专家”,每层配一个小路由器(router),由它决定这个 token 该找哪几位专家,通常只选前 k 个。总参数 = 全部专家 + 注意力、词表等共享部分;激活参数 = 被选中的专家 + 每层都必经的共享部分。两者相除就是激活比例,30B-A3B、26B-A4B 都落在 10% 上下这个量级,数值越低越稀疏。
别和这几个数字搞混
| 你关心的问题 | 该看哪个数字 | 原因 |
|---|---|---|
| 需要多少显存装下它 | 总参数 | 所有专家都得在显存里待命 |
| 跑得快不快、单 token 算力成本 | 激活参数 | 只有这部分权重参与矩阵乘 |
| 模型的容量上限 | 总参数 | 容量大不等于用得好,还要看路由训练质量 |
| 量化省不省显存 | 与命名无关 | 量化让每个参数变小,A×B 表示每次只用一部分参数,两者可叠加 |
另外,有些模型后缀使用 E(effective,有效参数),那是一种折算后的规模,不等于激活参数;遇到时以官方模型卡为准。
对你意味着什么
选型时,不要因为看到 26B 就以为必须使用多卡服务器。A4B、A3B 这类模型在推理速度和显存带宽压力上,接近一个只有几 B 的稠密小模型,因此笔记本、单张消费级显卡甚至手机端都有机会跑起来。前提是显存要装得下全部参数,量化后通常仍在几十 GB 的量级,具体以官方说明和实测为准。反过来,也别把它当成“26B 的智力”:参数容量摆在那里,能兑现多少取决于专家路由和训练质量。
对普通职场人,这个后缀的实用价值是提供一个更靠谱的直觉:A 后面的数字决定“卡不卡、贵不贵”,横杠前面的数字决定“模型能力与规模有多大”。
