社交平台 X 上,账号 anemll 分享了一项端侧推理演示:Qwen3.8-27B 模型运行在 iPhone 18 的神经引擎(Neural Engine)上,速度达到 15–70 tok/s,模型以 1.5 bpw(每权重比特数)的极低比特量化部署。
从规模看,27B 参数量级通常对应云端 GPU 或工作站,把量级这么高的模型放进手机的功耗与内存预算中,表明端侧推理能力正在进一步扩展。按 1.5 bpw 换算,27B 模型的理论权重体积约在 5GB 量级,与当前旗舰手机的内存容量处于同一数量级,这也说明低比特量化是这条路线能够成立的前提。
从比特宽度看,1.5 bpw 远低于常见的 4-bit、8-bit 量化,属于极端压缩区间。这类方案需要在精度损失、模型体积与内存带宽之间取舍,实际可用性取决于具体任务上的表现,而目前披露的信息中并未包含质量评测结果。
从速度看,15–70 tok/s 的区间跨度较大:上限已接近对话式交互可感知的流畅水平,下限则提示实际吞吐会随场景明显变化。该分享未说明测试所用的上下文长度、批次大小与设备内存配置,因此这一区间更适合作为能力边界的示意,而非可复现的基准成绩。
对 AI 从业者而言,这条演示的意义在于它同时触及三个通常相互制约的变量:模型规模、量化比特数与端侧实时性。如果类似的低比特方案能在输出质量上站得住脚,端侧部署的模型选择面会明显变宽;反之,1.5 bpw 可能更多停留在演示和特定任务场景。目前该演示仍缺少可复现的评测细节,后续值得关注的是质量数据与更完整的测试条件披露。
