跳到主内容
快讯直播
AI智模界
开源

开源项目 Janas:从 SSD 流式加载专家运行 LLM

一个名为 Janas 的开源项目出现在 GitHub 上,其标题直指大模型推理中一个常见瓶颈:当模型权重超过可用内存时,如何仍能把模型跑起来。项目描述为“Run LLMs larger than RAM by streaming experts from SSD”,即通过从 SSD 流式加载专家(experts)的方式,运行参数量超出内存容量的 LLM。

从字面看,其思路并非把全部权重一次性读入显存或内存,而是按需把专家模块从固态硬盘搬运到计算设备。这与当下主流的大规模混合专家(MoE)模型结构高度契合:这类模型的参数总量往往远超单机内存,但单个 token 只激活其中少数专家,因此真正需要常驻内存的部分相对有限。把暂时用不到的专家留在 SSD、只把当前需要的专家换入,理论上可以降低对内存容量的要求,让单机或消费级设备承载更大的模型。

这种做法的代价也很直接:SSD 的带宽与延迟远低于内存,推理吞吐很可能受制于存储 I/O,速度与全内存方案存在差距。因此它更适合内存或显存受限、但对吞吐不敏感的场景,例如本地试验、个人设备部署或研究用途。

目前可获得的信息仅有项目名称、描述与仓库地址,具体支持的模型、实现细节与性能数据尚未给出。对关注 MoE 推理与内存受限部署的开发者而言,这种“以存储换内存”的方向值得跟进,实际效果仍需以仓库中的代码与文档为准:https://github.com/prabanta-dev/janas

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。