一句话定义:bpw(bits per weight,每权重比特数)是衡量模型压缩力度的单位——平均每个参数占几个比特。1.5 bpw 就是让模型平均每个权重只花 1.5 个比特,比 fp16(16 位浮点)的 16 比特小十倍以上。
“1.5 比特”不是一种数据类型
现实里没有 1.5 比特的数值格式,1.5 是平均值。具体做法是混合精度量化:把绝大多数层压到 2-bit 甚至更低,对少数敏感部位(词嵌入层、第一层和最后一层、注意力输出投影)保留 4-bit 或 8-bit,加权平均下来约等于 1.5 bpw。这有点像搬家打包:常穿的衣服用硬箱仔细装,一年不碰一次的东西直接真空压缩;平均下来,每件行李只占 1.5 个箱子的体积,但该保护的仍然保护了。
拿 27B 模型算笔账:fp16 需要约 54GB 权重,4-bit 约 13.5GB,1.5 bpw 只要约 5GB。5GB 是手机运行内存能腾出来的量级,这才是“27B 跑进手机 NPU(神经网络处理单元)”的来源——省下来的主要是内存容量和内存带宽,而端侧推理恰恰卡在这两点上。
和邻居们的区别
| 方案 | 平均比特 | 训练要求 | 精度代价 | 典型位置 |
|---|---|---|---|---|
| AWQ / GPTQ 4-bit | 约 4 | 训练后量化(PTQ),只需校准数据 | 小,接近原模型 | 服务器 GPU 部署主流 |
| 1.5 bpw 混合量化 | 约 1.5 | 通常需要更精细的校准,部分方案配合轻量微调 | 明显,看任务 | 手机、端侧、显存紧张的消费卡 |
| BitNet 1.58-bit | log₂3 ≈ 1.58 | 必须从预训练开始做AI 词典:量化感知训练">量化感知训练(QAT) | 架构原生,需重训 | 专用三值模型 |
关键差别有两层。第一层是压缩程度:4-bit AWQ/GPTQ 是当前性价比最好的选择,压到 1.5 bpw 已经进入“精度换空间”的深水区。第二层是含义不同:BitNet 的 1.58-bit 指的是权重只取 {-1, 0, +1} 三个值,单个权重固定占 log₂3 比特,是从头训练出来的三值架构;而 1.5 bpw 是一个工程统计口径,描述“平均每个权重花多少比特”,底层可能是 2-bit 与 4-bit 混搭,不一定是三值。数字接近,路线完全不同。
精度代价与适用边界
低比特伤害最重的是需要精细数值的地方:罕见事实的召回、多步数学推理、长代码生成,这些任务容易“看着像对的,细节全错”。困惑度(perplexity)上升是常态,但日常摘要、分类、改写、简单问答往往感知不明显。
所以判断标准不在跑分,而在场景:端侧离线助手、隐私敏感的个人知识库、显存只有个位数的消费级显卡,1.5 bpw 是让模型“能跑起来”的可行解;要它替代云端大模型做复杂推理,就不合适。具体支持哪些精度档位,以各推理框架的官方页面为准。
一句话记:bpw 看的是平均值,1.5 bpw 的功夫全在“哪些层不能省”。
