跳到主内容
快讯直播
AI智模界
开源

开源项目 smolmaxxing 尝试让大模型跑在小旧设备上

GitHub 上出现了一个名为 smolmaxxing 的开源项目,作者为 hyperionaidev,项目主页上的自述是“I'm making LLMs work on small and old devices”,即让大语言模型(LLM)在体积小、年份久、算力有限的设备上运行起来。项目地址为 https://github.com/hyperionaidev/smolmaxxing/ ,归类为开源。

从公开信息看,这个项目目前能确认的只有它的目标定位:把原本依赖较强算力的大模型推理,搬到小型与老旧的硬件上。关于它支持哪些模型、采用何种量化或加速方案、能在哪些设备上跑到什么速度,本次信息中并未给出摘要说明,具体能力仍需以仓库内的代码与文档为准。

这件事值得关注的原因在于端侧推理正在成为一条明确的技术路线。把模型放到本地设备上运行,通常意味着数据不必离开设备、可以离线使用,也省去了持续的云端推理开销;而“小且旧”的设备恰好是存量最大、最容易被忽视的一类硬件,如果这类设备能被重新利用,端侧 AI 的覆盖面会明显扩大。

与此同时,这条路线上的共性难题也很清楚:内存容量与带宽往往比算力更早成为瓶颈,量化压缩会带来精度损失,长时间推理还要考虑功耗与发热。如何在这些约束下仍保持可用效果,是任何端侧方案都绕不开的工程问题。该项目后续的实测数据与适配清单,将决定它的实际价值。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。