一句话定义：稀疏计算（Sparse Computing）指数据和计算中存在大量“零”或可安全跳过的部分时，让软硬件只对真正有效的部分做运算，从而少算、快算的一套方法总称。
打个比方
一桌摆了一百道菜，实际只有十道被人动过筷子。稠密计算是把一百道菜全部重新热一遍；稀疏计算是先扫一眼哪几盘动过，只热那十盘。
难处在于，“扫一眼”本身也要成本；如果找空盘的时间比热菜还长，省下的功夫就白费了。稀疏计算几十年的核心矛盾，就在这句话里。
三个层次
| 层次 | 稀疏的是什么 | 典型做法 |
|---|---|---|
| 参数稀疏 | 权重矩阵里接近零的元素 | 剪枝（pruning）、结构化稀疏 |
| 激活稀疏 | 每次前向只唤醒部分神经元或专家 | 混合专家（MoE）、ReLU 类激活 |
| 注意力稀疏 | token 之间的注意力连接 | 滑动窗口、块稀疏注意力 |
大模型时代最受关注的是后两种。MoE 让模型总参数很大，但每个 token 只经过少数几个专家，这是激活稀疏；长上下文里让每个 token 只和局部或少数关键 token 计算注意力，这是注意力稀疏。共同点是“模型看起来很大，每次实算的很少”。
和相邻概念的区别
- 量化（quantization）省的是“每个数占多少位”，稀疏省的是“要算多少个数”，两者经常叠加使用。
- 剪枝是“制造稀疏”的手段，稀疏计算是“利用稀疏”的能力。
- 稠密计算是默认路径，矩阵乘法库和硬件都为“全部算一遍”优化得很好。
芯片为什么要专门做稀疏单元
通用 GPU 算稠密矩阵很高效，但“跳着算”并非它擅长的场景：零的位置如果不规则，取数会变得零散，反而更慢。所以业界推结构化稀疏（例如固定比例的 2:4 模式），牺牲一点灵活度，换取硬件能用规整方式跳过。
DeepSeek 之后国产芯片集体押注稀疏，逻辑并不复杂：MoE 把“总参数”和“每 token 计算量”解耦了，模型能力继续涨，单次推理的算力却不必同比例涨。既然主流模型的稀疏激活已成事实，芯片在架构层面配合（专家调度、显存带宽、跨卡通信）就能在同等工艺下跑出更高吞吐。具体支持到什么程度，以各厂商官方页面为准。
对成本的真实影响
需要说明的是：稀疏省下的 FLOPs 不等于等比例的延迟下降。解码阶段往往卡在显存带宽——每生成一个 token 都要把用到的权重搬一遍。MoE 算得少，但被选中的专家权重还是得读进来，加上路由、负载均衡、跨卡通信的开销，端到端收益常小于纸面数字。
所以对从业者：别只看参数量和理论算力，要压测真实请求下的吞吐和首 token 延迟。对普通人：这套东西的最终意义，是让长上下文、高并发、端侧模型变得付得起钱；手机里那个不联网也能用的助手，多半就靠它。