一句话定义：Weight Streaming（权重流式推理）指模型权重不常驻在计算芯片的片上内存里，而是放在片外存储（主机内存或专用外部存储设备）中，推理时按层“现取现用”地流入计算单元，用完即弃。
原理：谁在动，谁不动
常规推理是“权重不动、数据流动”：权重加载到显存或片上 SRAM 后待着不动，一个个 token 的激活值（activations）从它们身上流过。权重流式把这个关系倒过来——激活值留在片上，权重在流动。
打个比方：厨房只有一个很窄的操作台（片上 SRAM），却要做一整本菜谱。办法不是把食材全堆在台上，而是按顺序叫料：第一道菜的料送到、做完撤走，第二道菜的料再送到，操作台永远只放当前这一步要用的东西。Cerebras 的晶圆级引擎（Wafer-Scale Engine）正是这种“操作台不大、带宽极大”的设计：对万亿参数级模型，连单层权重都可能塞不进片上 SRAM，于是整个模型的权重放在外部存储里，靠高速互联逐层灌注进去。
代价：用带宽换容量
对单个 token 做一次前向传播，几乎要“碰”到每一个权重。也就是说，每生成一个 token，至少要搬运相当于整个模型大小的数据。想要每秒 T 个 token，就得有大约「模型大小 × T」的带宽。由此推出三条实际后果：
- 吞吐靠 batch 摊薄。一次搬运来的权重，可以同时服务 batch 里所有序列；batch 越大，摊到每个 token 的搬运成本越低。这套机制天生适合大 batch 的离线、批量场景。
- 延迟不友好。小 batch 或单请求时，计算单元常常在等权重送到，速度上限由互联带宽而非算力决定；冷启动还得先把权重灌一遍。
- 优化手段各有着力点。量化（quantization）直接减字节，收益线性；MoE 稀疏激活只搬被选中的专家，也减字节；两者都能和权重流式叠加。
和相邻概念的区别
| 思路 | 怎么解决“装不下” | 瓶颈变成 | 典型适用 |
|---|---|---|---|
| 权重常驻显存 | 把模型切到多卡（张量并行、流水并行） | 卡数与卡间互联 | 低延迟在线服务 |
| 权重流式或分层卸载 | 权重留片外，按层搬运 | 内存带宽 | 大 batch 吞吐、超大模型 |
| 量化、蒸馏、稀疏化 | 把模型本身变小 | 精度 | 几乎所有场景 |
一句话概括差别：并行是“加内存”，权重流式是“加带宽”，MoE 是“少搬一些”，量化是“每字节更划算”。后两者和权重流式是互补而非替代。
对从业者和普通人的意义
它把一个容量问题（“模型装得下吗”）换成了一个带宽问题（“搬运跟得上吗”）。做架构选型时先问清楚：你服务的是吞吐还是延迟？批量任务看重单位成本，交互式对话看重首字与每字响应，两者在这套机制下的表现会很不一样。
对非技术的观察者：当你看到“某套硬件跑起了远超其内存容量的模型”，背后多半是这类思路在起作用；代价通常不体现在“能不能跑”，而体现在批量吞吐与交互延迟的取舍上。不少开源推理框架里的分层卸载（offload）本质相同，只是互联带宽小了若干数量级，所以慢得多。具体产品的规格与支持范围，以官方页面为准。