据量子位报道，香港科技大学、卡内基梅隆大学（CMU）与岩山科技联合开源了一款新模型，其核心卖点在于把推理过程中的 AI 词典：KV Cache">KV Cache 占用削减约 99%，同时将单卡吞吐提升至原来的 6 倍。相关报道见量子位原文（qbitai.com/2026/10/505407.html）。
KV Cache 是大模型自回归推理的必备结构：模型需要缓存历史 token 的键值向量，避免每生成一个新词都重算全部上下文。代价是缓存占用随上下文长度和并发请求数近似线性增长，在长上下文、高并发场景下往往先于算力成为瓶颈——显存被吃满后，能跑的并发数和上下文长度就被硬性限死。
因此这两项指标同时成立时，意义不止于“省显存”。缓存压缩到极小比例，意味着同一张卡可以承载更长的上下文或更多的并发会话；吞吐提升 6 倍，则直接压低单位 token 的推理成本。对做推理服务、长文档处理、Agent 多轮会话的团队来说，这类优化通常比换更大参数量的模型更直接影响部署账单。
从生态角度看，选择开源而非仅发布论文，意味着方法可被复现、可被集成进现有推理框架，也便于社区在实际业务负载上验证收益是否成立。
需要说明的是，上述 99% 与 6 倍是报道给出的结论性数字，具体模型规模、测试条件、基线配置以及缓存压缩对生成质量的影响，仍需以原报道及随模型发布的技术文档为准。实际部署中的收益也会随上下文长度、并发策略和硬件配置而变化，不宜直接把实验室数字等同于线上表现。