跳到主内容
快讯直播
AI智模界
AI 词典

梯度分桶:把碎梯度攒成大包再通信

一句话定义:梯度分桶(Gradient Bucketing)是分布式训练中的一种通信优化:把成百上千个零散的小梯度张量装进少数几个固定容量的“桶”里,等桶攒满再一次性发起 All-Reduce,用更少的通信次数换取更高的带宽利用率。

为什么需要它

多卡训练时,每张卡算完一部分梯度,就要和其他卡同步(求和或平均),否则各卡会朝着不同方向更新参数。麻烦在于,梯度是跟着反向传播一层层冒出来的,一层一个张量,形状各异、大小不一。如果每冒出一个就单独发一次通信,真正搬运数据的时间可能只占一小部分,剩下全耗在每次通信的固定启动开销上:握手、建通道、等对方就绪。

打个仓库发货的比方:每件小商品都单独叫一辆快递车,司机每趟都要上楼敲门、签字、拍照,忙半天只送出去一个手机壳。分桶就是先在仓库里备好几个固定大小的纸箱,小件来了就往箱子里塞,塞满一箱再叫车,一趟拉走几十件。车的数量没变,跑空趟的次数少了一个数量级。

具体怎么做

框架会预先分配若干块固定大小的缓冲区(常按 MB 计),反向传播每算出一个梯度就拷进当前正在填的桶;桶一满,立刻对这个桶发起一次 All-Reduce,同时开一个新桶继续接。这样还有个额外好处:第 0 个桶在通信时,后面的层还在算梯度,通信和计算可以重叠,等于把等待时间藏进了计算时间里。

桶的大小是个权衡。太小,包还是碎,省不下几次往返;太大,缓冲区占显存,而且第一个桶要等很久才攒满,通信起步晚、重叠窗口变短。多数框架都给了类似 bucket 容量上限的配置项,默认值各版本不同,用之前以官方文档为准。

和几个近邻的区别

概念主要作用减少的是什么
梯度分桶合并小张量,批量发起通信通信次数
梯度累积攒多个 micro-batch 再更新参数参数更新次数、显存压力
梯度压缩 / 量化降低每个梯度元素的精度或稀疏度单次通信的数据量

一句话:分桶管“发几趟”,压缩管“每趟多沉”,梯度累积管“多久更新一次”。三者互不冲突,可以叠着用。另外要分清,All-Reduce 是通信原语本身,分桶只是决定“怎么调用它”的策略;ZeRO、FSDP 里按桶重组参数再通信的思路,和它同源。

对从业者的意义

当集群规模上去以后,训练慢往往不是卡算得慢,而是卡在等通信。分桶是少数几个不用改模型结构、调一个参数就能见效的开关,做并行策略调优时值得优先看一眼。对不写框架的人也一样:大模型训练账单里,相当一部分钱花在“卡闲着等数据”上,把碎包攒成大包,省下的是实打实的机时和电费。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。