据量子位报道,一款国产开源新模型实现了在iPhone上断网运行,模型规模为35B(约350亿参数),且支持多模态能力,运行时内存占用仅约3G。这意味着用户无需联网、不依赖云端算力,即可在手机端完成推理,模型权重与计算全部留在本地。
对AI从业者而言,这条消息的关键词是“端侧”“多模态”“大参数”三者的组合。长期以来,35B量级的模型通常被部署在服务器或多卡GPU环境,端侧部署往往要在参数量、精度与内存之间做取舍。此次展示的能力说明,模型压缩与端侧推理方案正在把可运行的参数规模推高,同时把常驻内存压到主流手机可以承受的区间。3G内存占用是其中最直观的指标——它决定了模型能否与日常应用共存,而不至于让手机频繁杀后台。
从应用角度看,断网运行带来两点直接价值。一是隐私与合规:输入数据不出设备,对涉及敏感信息的场景更友好。二是可用性与成本:没有网络也能用,省去云端推理的调用开销,也避免了弱网环境下的体验断点。
当然,目前的公开信息有限,实际推理速度、多模态能力的具体范围、支持的机型与系统版本,以及量化后的效果损失,都还需要更多实测来验证。端侧跑大模型并非新方向,但“35B+多模态+3G内存+iPhone”这一组合如果可复现,将为移动端AI应用的产品形态提供新的想象空间:离线助手、本地文档理解、隐私敏感场景的实时交互,都可能因此变得更可行。后续值得关注的是开源权重与推理框架的开放程度,以及能否在更多安卓与iOS设备上稳定落地。
