一句话定义：随机深度（Stochastic Depth）是一种只在训练阶段生效的正则化手段——按概率把某些残差块（residual block）整块“关掉”，让网络每次实际只走一部分层；在不少代码库里，它叫 DropPath。
它到底做了什么
先回忆残差块：输出是 y = x + f(x)。x 是输入，f(x) 是这一块学到的变换，那根直连的 x 就是跳跃连接（skip connection）。“跳过这一块”要做的就是把 f(x) 置为 0，于是 y = x，这块只剩搬运功能。
训练时，每个残差块按概率独立决定开还是关，而且每个样本抽到的“开关表”都不一样：同一批数据里，样本 A 可能跳过了第 3、7 块，样本 B 跳过了第 5、9 块。推理时所有块都打开，不再有随机性；部分实现还会按保留概率对残差分支做缩放，让训练与推理的期望输出对齐。
打个比方：一支球队训练时每天随机让几名主力轮休，剩下的队员必须自己补位——久而久之没人能指望“反正有他兜底”，整个体系更结实。放到网络里，“更结实”体现在两点：梯度可以沿着跳跃连接一路流到浅层，不必穿过被丢弃的块，极深的网络更好训；同时它相当于对一大堆“不同深度的子网络”做了一次隐式集成（ensemble），过拟合也会轻一些。
和相邻概念的区别
| 对比项 | AI 词典：Dropout">Dropout | 随机深度 / DropPath | 模型剪枝 |
|---|---|---|---|
| 丢什么 | 单个神经元/激活值 | 整个残差分支 | 整层或整个通道 |
| 何时发生 | 只在训练 | 只在训练 | 训练后或边训练边剪 |
| 推理时 | 全部启用 | 全部启用 | 真的被删掉 |
| 主要目的 | 防过拟合 | 防过拟合 + 让深网更好训 | 压缩、加速 |
最容易混的是 Dropout：它是元素级、非结构化的，丢的是散点；随机深度丢的是“一整条支路”，是结构级的。另外 Transformer 里的 LayerDrop 丢掉整个层，思路非常接近，只是作用对象从卷积残差块换成了 Transformer 层。
对从业者的实际意义
- 想用时通常就是配置里加一行
drop_path_rate。取值因模型、任务、数据量而异，别照抄别的项目的数字，以官方文档和代码实现为准。 - 常见做法是“越深丢得越多”，因为深层特征往往更冗余；调太大容易欠拟合，调太小等于没加。
- 它和 Dropout、权重衰减（weight decay）同属正则项，叠加时要一起看总强度，别各自拉满。
对普通人的一句启发
它的思路很朴素：训练阶段主动制造一点“随机缺失”，逼系统不要把宝押在某一处，从而换来真实场景下更稳的表现。团队轮岗、关键岗位准备备份，其实是同一个道理。