一句话定义:梯度分桶(Gradient Bucketing)是分布式训练中的一种通信优化:把成百上千个零散的小梯度张量装进少数几个固定容量的“桶”里,等桶攒满再一次性发起 All-Reduce,用更少的通信次数换取更高的带宽利用率。
为什么需要它
多卡训练时,每张卡算完一部分梯度,就要和其他卡同步(求和或平均),否则各卡会朝着不同方向更新参数。麻烦在于,梯度是跟着反向传播一层层冒出来的,一层一个张量,形状各异、大小不一。如果每冒出一个就单独发一次通信,真正搬运数据的时间可能只占一小部分,剩下全耗在每次通信的固定启动开销上:握手、建通道、等对方就绪。
打个仓库发货的比方:每件小商品都单独叫一辆快递车,司机每趟都要上楼敲门、签字、拍照,忙半天只送出去一个手机壳。分桶就是先在仓库里备好几个固定大小的纸箱,小件来了就往箱子里塞,塞满一箱再叫车,一趟拉走几十件。车的数量没变,跑空趟的次数少了一个数量级。
具体怎么做
框架会预先分配若干块固定大小的缓冲区(常按 MB 计),反向传播每算出一个梯度就拷进当前正在填的桶;桶一满,立刻对这个桶发起一次 All-Reduce,同时开一个新桶继续接。这样还有个额外好处:第 0 个桶在通信时,后面的层还在算梯度,通信和计算可以重叠,等于把等待时间藏进了计算时间里。
桶的大小是个权衡。太小,包还是碎,省不下几次往返;太大,缓冲区占显存,而且第一个桶要等很久才攒满,通信起步晚、重叠窗口变短。多数框架都给了类似 bucket 容量上限的配置项,默认值各版本不同,用之前以官方文档为准。
和几个近邻的区别
| 概念 | 主要作用 | 减少的是什么 |
|---|---|---|
| 梯度分桶 | 合并小张量,批量发起通信 | 通信次数 |
| 梯度累积 | 攒多个 micro-batch 再更新参数 | 参数更新次数、显存压力 |
| 梯度压缩 / 量化 | 降低每个梯度元素的精度或稀疏度 | 单次通信的数据量 |
一句话:分桶管“发几趟”,压缩管“每趟多沉”,梯度累积管“多久更新一次”。三者互不冲突,可以叠着用。另外要分清,All-Reduce 是通信原语本身,分桶只是决定“怎么调用它”的策略;ZeRO、FSDP 里按桶重组参数再通信的思路,和它同源。
对从业者的意义
当集群规模上去以后,训练慢往往不是卡算得慢,而是卡在等通信。分桶是少数几个不用改模型结构、调一个参数就能见效的开关,做并行策略调优时值得优先看一眼。对不写框架的人也一样:大模型训练账单里,相当一部分钱花在“卡闲着等数据”上,把碎包攒成大包,省下的是实打实的机时和电费。
