一句话定义：自投机解码（Self-AI 词典：Speculative Decoding">Speculative Decoding）是一种推理加速方法——不额外训练一个小“草稿模型”，而是让同一个大模型用“少跑几层”的方式先猜出若干个词，再用完整模型一次性验证这些猜测。
为什么需要它
大模型生成文字是“一次一个词”（自回归）地往外蹦。每蹦一个词，都要把整个模型跑一遍，而真正花时间的往往不是算力，而是把几百亿参数从显存里搬来搬去——相当于请一位专家逐字口述，专家大部分时间在“翻资料”，嘴却没动几下。
投机解码（Speculative Decoding）的思路是：找个小助手先一口气猜出 5 个词，专家再一次性审完这 5 个。猜对了就白赚，猜错了就从第一个错处改掉。代价是：你得另外准备并训练一个小模型，它还得跟大模型“口味”接近，否则猜一个错一个。
自投机解码把这步省了：草稿不用别人写，让大模型自己“粗略地”写。常见做法是让它只跑前面若干层就提前退出（early exit），或者跳过一部分层（layer skipping），用这个残缺的版本快速产出候选词；随后完整模型并行检查这串候选。检查是逐位置的：前面连续接受，遇到第一个不一致的位置就纠正，并从那里继续。
打个比方
像是同一个资深编辑写稿：他先凭直觉飞快写出一段草稿（用的是简化版脑回路），然后切换到严谨模式逐句核对。核对通过的句子直接留下，不通过的重写。全程只有一个人，不需要额外招一个实习生，也不用担心实习生和大编辑文风不合。
和相邻概念的区别
| 方法 | 草稿从哪来 | 需要额外训练 | 输出质量 |
|---|---|---|---|
| 普通自回归解码 | 无草稿，逐词生成 | 否 | 基准 |
| 投机解码 | 独立的小草稿模型 | 通常需要 | 验证正确时与基准一致 |
| 自投机解码 | 同一模型的浅层/跳层版本 | 一般不需要 | 验证正确时与基准一致 |
关键点在于“验证”：只要完整模型按自己的概率把关，接受的词就是它本来也会选的词，因此输出分布基本不变，属于“无损加速”而非“降智换速度”。这和量化、蒸馏那种牺牲精度换速度的路子不同。
对实际工作意味着什么
对从业者：它降低的是部署复杂度——不用维护第二个模型、不用调草稿模型的训练数据，显存占用也更友好；代价是草稿质量通常不如专门训练的小模型，接受率取决于任务，具体提速幅度要在自己的数据上实测。部分推理框架已内置类似能力，是否开启、参数怎么设，以官方文档为准。
对普通职场人：同样的显卡能更快吐字、单位成本更低，长文档总结、客服机器人这类场景的响应会更利索。要注意的是，草稿容易被接受的前提是文本“好猜”——重复模板、固定格式、常见套话命中率高；天马行空的创意写作则容易反复被拒，加速效果打折。