跳到主内容
快讯直播
AI智模界
AI 词典

A4B 命名法:26B 参数规模,4B 实际计算量

一句话定义:A4B 是模型名里的后缀,读作“总参数-A-激活参数”,A 是 Activated(激活)的首字母。比如 Gemma-4-26B-A4B,意思是这个模型一共存了 260 亿个参数,但每生成一个 token(词元,可粗略理解为“一个字或一个词片段”),只有约 40 亿个参数真正参与计算。

怎么读这个后缀

横杠前面是总参数量(total parameters),也就是模型全部权重的规模,它决定了你下载、存放时要装下的全部参数;A 后面是激活参数量(activated parameters),指处理每个 token 时真正参与计算的那部分参数。Qwen3-30B-A3B 同理:30B 是总参数规模,A3B 指每次只激活约 30 亿。

打个比方:一家医院有三十个科室,你看一次病只挂一个号,只惊动一个科室的医生。医院的规模是 30B,你这次就诊的实际工作量是 3B。图书馆也一样:藏书百万册,你写一篇稿子只借了五本。

为什么能“只点亮一部分”

因为这类模型用的是混合专家架构(Mixture of Experts, MoE)。传统稠密模型(dense model)里,每个 token 都要穿过整个前馈网络(FFN);MoE 把 FFN 拆成几十上百个“专家”,每层配一个小路由器(router),由它决定这个 token 该找哪几位专家,通常只选前 k 个。总参数 = 全部专家 + 注意力、词表等共享部分;激活参数 = 被选中的专家 + 每层都必经的共享部分。两者相除就是激活比例,30B-A3B、26B-A4B 都落在 10% 上下这个量级,数值越低越稀疏。

别和这几个数字搞混

你关心的问题该看哪个数字原因
需要多少显存装下它总参数所有专家都得在显存里待命
跑得快不快、单 token 算力成本激活参数只有这部分权重参与矩阵乘
模型的容量上限总参数容量大不等于用得好,还要看路由训练质量
量化省不省显存与命名无关量化让每个参数变小,A×B 表示每次只用一部分参数,两者可叠加

另外,有些模型后缀使用 E(effective,有效参数),那是一种折算后的规模,不等于激活参数;遇到时以官方模型卡为准。

对你意味着什么

选型时,不要因为看到 26B 就以为必须使用多卡服务器。A4B、A3B 这类模型在推理速度和显存带宽压力上,接近一个只有几 B 的稠密小模型,因此笔记本、单张消费级显卡甚至手机端都有机会跑起来。前提是显存要装得下全部参数,量化后通常仍在几十 GB 的量级,具体以官方说明和实测为准。反过来,也别把它当成“26B 的智力”:参数容量摆在那里,能兑现多少取决于专家路由和训练质量。

对普通职场人,这个后缀的实用价值是提供一个更靠谱的直觉:A 后面的数字决定“卡不卡、贵不贵”,横杠前面的数字决定“模型能力与规模有多大”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。