一句话：Flash Decoding 是一种面向大模型推理 decode（解码）阶段的注意力优化——把很长的 KV（键值）序列切成若干块、分给多个 GPU 计算单元同时算，最后再合并出与原来完全一致的结果。
要理解它为什么存在，得先知道 decode 为什么慢。大模型推理分两步：prefill（预填充）一次性读完你的问题，计算密集，GPU 跑得很满；decode（解码）每次只生成一个 token，却要反复读取整条 KV 缓存。算得少、读得多，瓶颈在显存带宽，不在算力。
更麻烦的是并行度。注意力能并行的维度有 batch、query、head 和 KV 序列。decode 时 query 长度是 1，如果 batch 又小（比如只有一个用户在问一份长文档），可切分的维度就只剩 head，大量计算单元闲着。
打个比方：一群人要从一本很厚的电话簿里找名字，现在的分工是“每人负责一个字头”，人数有限，每个人还得翻完自己那一整段。Flash Decoding 相当于把电话簿按页码拆成一小叠一小叠，让更多人同时翻，各自记下“我这段里最匹配的是谁、权重是多少”，最后由一个人汇总排行榜。汇总时把各块的局部最大值和局部加权和做一次归一化合并，所以结果是精确的，不是近似。
和相邻概念的区别：
| 概念 | 作用阶段 | 解决什么 |
|---|---|---|
| AI 词典：FlashAttention">FlashAttention | prefill / 训练为主 | 用分块避免写出巨大的注意力矩阵，减少显存搬运 |
| Flash Decoding | decode | 在 KV 序列维度上再切一刀做并行，填满空闲算力 |
| MQA / GQA | 模型架构 | 从源头减少 KV head 数量，让缓存本身变小 |
| PagedAttention | 显存管理 | 让 KV 缓存按页分配，减少碎片、支持共享 |
| 投机解码 | decode | 一次猜多个 token，减少串行步数 |
Flash Decoding 和 FlashAttention 其实是同一种“分块 + 少搬数据”思路的延伸，只是换了一个并行维度。
对从业者的实际意义：它主要改善低并发下的长上下文生成速度——单用户、超长提示词、长文档问答这类场景，出词不再越往后越卡；如果 batch 本来就很大，可并行的活已经够多，收益就有限。所以线上服务通常把它和连续批处理（continuous batching）配合使用。它也不改变模型输出，属于纯工程优化。具体支持情况和开关设置，以所用推理框架的官方文档为准。