一句话定义：梯度累积（Gradient Accumulation）用多个微批（micro-batch）的梯度累加，来模拟一个大 batch 的参数更新；但批归一化（Batch Normalization，BatchNorm）在每个微批内部就计算均值和方差，所以它模拟出来的训练动态与真正的大 batch 并不相同。
原理：显存不够时，常见做法是把一个大 batch 切成 K 个微批，逐个前向和反向传播，把梯度攒起来，最后再统一更新一次参数。对 Linear、AI 词典：LayerNorm">LayerNorm 这类逐样本运算，只要损失按比例缩放，梯度累积在忽略随机性的情况下可以接近大 batch 的效果。但 BatchNorm 在训练态会用“当前微批”的样本统计量做归一化：卷积层通常按通道在 N、H、W 上算均值和方差，全连接层按特征在 N 上算。这意味着一个样本的输出，依赖同微批里的其他样本。打个比方：真正的大 batch 像一桌人一起定菜价；梯度累积像分成几桌各自定菜价，再把账单平均。每桌的菜价已经由本桌人数决定了，平均账单并不等于一桌人的定价。
| 项目 | 真正的大 batch | 梯度累积 + 训练态 BatchNorm |
|---|---|---|
| 前向/反向粒度 | 一次覆盖整个 batch | 每个微批各做一次 |
| BN 均值方差来源 | 整个大 batch | 当前微批 |
| 运行统计量更新 | 每个大 step 更新一次 | 每个微批都可能更新一次 |
| 是否等价 | 基准 | 通常不等价 |
和相邻概念的区别：梯度累积不是把数据真的拼成一个 batch，只是把梯度攒起来；BatchNorm 也不是“训练完再统一归一化”，它在训练过程中就依赖批内统计。想扩大 BN 的有效批，通常要靠更大的单步批、跨设备的同步批归一化（SyncBatchNorm），或改用不依赖批统计的 GroupNorm、LayerNorm。另一种做法是冻结 BN、只用运行统计量，常见于微调场景，但要确认运行统计量有代表性。
实际意义：如果模型里有训练态 BatchNorm，别默认“梯度累积等于大 batch”。调参时看到累积步数变大但效果没变好，先检查归一化层的统计口径。对非算法岗位，这也是一个通用提醒：把大任务拆成小份再汇总，若每个小份内部已经做了依赖整体数据的计算，最后简单平均并不等于整体计算。