早退（Early Exit）是一种推理加速思路：神经网络不必让每个输入都从第一层跑到最后一层，如果中间某一层已经"胸有成竹"，就在那里提前输出结果，省下后面的计算。代价是这部分样本的精度可能略降，换来的是整体推理速度提升。
打个比方：一套试卷有 20 道大题要依次作答，每题都建立在上一题基础上。学霸做到第 8 题就基本能猜出最终答案，后面 12 题纯属浪费时间；学渣则必须老老实实做完。早退就是给模型配了个"提前交卷"的裁判：每层之后都问一句"现在答，有把握吗？"有把握就交，没把握就继续往下算。
它为什么可行：深层网络里不同难度的 token（词元）本就分布不均。像"的""是""the"这类高频词，中间层的表示已经足够确定下一个词；真正需要全深度推理的是那些有歧义的、需要长距离依赖的 token。早退本质上是在做按样本难度分配算力——这也常被称为自适应计算（adaptive computation）。
工程上有几种常见做法：
- 置信度阈值：每层接一个轻量分类头（classifier head），输出概率超过阈值就退出。
- 层一致性判断：比较相邻层的预测，若连续几层答案都一样，就认定已收敛。
- 学习式门控：训练一个小的策略网络，直接决定"在哪层停"。
训练时通常要做联合优化：让每个出口都能独立给出合理预测，否则浅层出口会拖垮整体质量。这也是它比"训练完再挂几个头"复杂的地方。
| 对比项 | 早退（Early Exit） | 投机解码（AI 词典：Speculative Decoding">Speculative Decoding） | 量化（Quantization） |
|---|---|---|---|
| 加速来源 | 少算几层 | 小模型草稿＋大模型验证 | 降低数值精度 |
| 是否改结构 | 需加出口 | 不改 | 一般不改 |
| 是否改权重 | 需重训或微调 | 不需要 | 需要校准 |
| 提速波动 | 依赖输入难度 | 依赖草稿质量 | 相对稳定 |
和相邻概念的区别：早退和模型剪枝（pruning）不同——剪枝是永久删掉一些层或通道，对所有输入一视同仁；早退是保留全部层，只对简单输入少走几层，属于动态计算。它和"级联模型"（先小模型试，不行再上大模型）思路相近，区别在于早退发生在同一个模型内部。
对从业者的意义：早退最实用的场景是推理成本敏感、且延迟要求高的场合，比如在线客服、搜索补全、端侧设备。它的收益高度依赖数据分布：如果业务里全是长难句和复杂推理，能提前退出的 token 比例就低，加速有限。落地时通常要盯两个指标——平均退出层数（决定速度）和各出口的精度损失（决定质量），并针对自家数据校准阈值。阈值调高，速度快但错得多；调低则反之，这个权衡没有通用最优解，只能在具体业务上试。
对普通人来说，可以把它理解成一种"能省则省"的工程直觉：不是所有问题都值得全力以赴，判断"什么时候算够用了"本身就是一种能力。具体到某个模型或框架是否支持早退、接口怎么调，以官方文档为准。