跳到主内容
快讯直播
AI智模界
芯片

Cerebras 推出解耦推理方案,推理架构竞争延伸至集群调度

Cerebras 通过官方博客宣布推出 disaggregated inference(解耦推理)方案,相关技术内容发布在其官网博客中。这是该公司在推理服务架构层面的一次公开动作,具体的实现方式与实测数据需参见原文。

所谓解耦推理,指的是把大模型推理中性质截然不同的两个阶段拆分到不同的硬件资源池上执行,而不是让同一批设备串行完成全部流程。其一是 prefill——一次性处理完整输入、建立上下文;其二是 decode——逐个 token 生成输出。Prefill 以大矩阵计算为主,偏向算力密集;decode 每步只产出一个 token,却需要反复读取模型权重与 AI 词典:KV Cache">KV Cache,偏向显存带宽与容量密集。两者混跑时,常见的现象是一种资源先被吃满、另一种资源大量闲置。

解耦之后,两个阶段可以独立扩缩容,按各自的瓶颈配置硬件比例,并针对性地做调度与缓存管理。这直接影响首 token 延迟(TTFT)、单 token 输出间隔(TPOT)以及单位 token 成本——对在线推理服务而言,这几项正是最核心的指标。

从行业看,围绕 prefill/decode 分离的推理架构近年已从研究话题走向工程落地,成为推理栈优化的一条主线。Cerebras 以晶圆级芯片著称,此次将解耦推理作为独立议题发布,说明推理服务的竞争焦点正从单芯片算力延伸到整个集群的资源编排与调度效率。对 AI 基础设施从业者而言,值得关注的是这类方案能否在真实负载下兑现利用率与延迟方面的收益,以及在何种模型规模与请求分布下收益最为明显。

原文:https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。