一句话定义：临界批大小（Critical Batch Size）是训练神经网络时的一个收益拐点——batch size 增大到某个程度之前，能换来“更少的更新步数、大致相同的总计算量”；越过这个点之后，batch 再大，收敛速度基本不再提升，只是每一步更贵，算力白烧。
原理与类比
训练时每一步用的是一个小批量（mini-batch）样本估出来的梯度。这个估计里既有真实的“信号”，也有采样随机性带来的“噪声”。batch 越大，噪声被平均掉得越多，梯度越准，于是就可以放心用更大的学习率、走更少的步数。在小 batch 区间里，这个效应近似线性：batch 翻倍，达到同样损失所需的步数大致减半，总计算量基本不变。
但噪声是有限的。当 batch 已经大到把噪声压得差不多了，梯度估计已经足够准，再加样本只是在反复确认你早就知道的事。这时步数不再下降，而单步成本继续线性上涨，总花费反而增加。
打个比方：想判断一锅汤咸不咸，尝一口心里就有谱，尝三口更稳；但尝三十口不会让你更确定，只是多喝了几口汤。临界批大小就是“再尝也没用”的那一口数。
它为什么不是固定常数
这个拐点在业内通常用梯度噪声尺度（gradient noise scale）来刻画，大致等于梯度“信号强度”与“噪声强度”的比值：信号越强、噪声越小，拐点就越靠右。所以它随任务、模型规模、训练阶段、优化器而变化，一般训练后期比早期更大，一些为大 batch 设计的优化器也能把它推大。它更像一条曲线的弯折位置，而不是一个可以写死的数字。
与相邻概念的区别
| 概念 | 关心的问题 |
|---|---|
| 临界批大小 | 经济性：batch 加到多大就不划算了 |
| 最大可训练 batch size | 可行性：受显存、优化器状态、学习率稳定性限制，是被“跑不跑得起来”卡住的 |
| 线性缩放法则（linear scaling rule） | 技巧：batch 扩大 k 倍就同步调大学习率；超过临界值后这条经验基本失效 |
| 梯度累积（gradient accumulation） | 手段：小显存模拟大 batch，但它模拟出的大 batch 同样会撞上临界批大小 |
| 数据并行扩展效率 | 结果：越过拐点后继续加卡，加速比会明显掉下来 |
对从业者的实际意义
第一，它是算力预算的分水岭。规划大规模训练前，先在小规模上扫一遍 batch 曲线，观察“达到同一验证损失需要多少步”，弯折处就是大致拐点，再决定要堆多少并行。
第二，越过拐点后，收益得从别处找：换优化器、调学习率调度、改进数据配比或模型结构，而不是继续加 batch。
第三，因为拐点会随训练进程移动，实践中常见做法是先用较小的 batch 做预热，再逐步放大。
对非算法岗位也有一层通用启发：任何投入都有边际收益趋零的位置，识别它比一味加量更值钱。至于具体数值，因任务与配置差异很大，没有通用答案，以自己在目标任务上的实测为准。