跳到主内容
快讯直播
AI智模界
AI 词典

动态批处理:用一点等待时间换更高吞吐

一句话定义:动态批处理(Dynamic Batching)指推理服务不固定每批请求的数量,而是在一个极短的时间窗口内,把陆续到达的多个请求临时拼成一批,一起送进模型计算,以提高整体吞吐。

打个比方

想象一部电梯。固定班次的做法是“坐满 8 人才走”,人来得慢时大家干等;另一种是“来一个走一个”,电梯空跑很浪费。动态批处理更像“再等 3 秒,看还有没有人来”——这 3 秒能凑上几个人,就一起上楼。

这 3 秒就是批处理窗口(batching window)。窗口越长,凑出的批次越大,单次计算越划算;窗口越短,单个用户的等待越少。

原理:GPU 喜欢“成批的活”

模型推理本质上是大量矩阵运算。图形处理器(GPU)在大批量数据上并行执行时效率最高;如果每次只处理一条请求,算力常常没有喂饱。动态批处理的做法是:

1. 请求进入队列,调度器启动一个短计时器;

2. 窗口结束时,把队列里现存的请求打包成一个批次(batch);

3. 整批一起前向计算,结果再分别返回给各自的调用方。

所以也常被称为服务端的“微批处理(micro-batching)”。

代价:首 token 延迟变长

这是它最需要说清楚的地方。吞吐(throughput)和延迟(latency)在这里是此消彼长的关系。

  • 首 token 延迟(Time To First AI 词典:Token">Token, TTFT):请求必须等待窗口结束,才能开始计算。用户在聊天框里看到“正在输入”的那段空白,很大程度上就由这个等待决定。
  • 后续 token:生成阶段批次越大,单步计算被更多请求分摊,每个 token 的平均间隔反而可能更短。

换句话说,动态批处理让用户“开头多等一点、后面不卡顿更快”,而服务端则在同一块 GPU 上服务了更多人。

与相邻概念的区别

概念批次怎么形成主要目标
静态批处理(Static Batching)凑满固定 batch size 或等满超时离线任务的最大吞吐
动态批处理(Dynamic Batching)短时间窗口内到达的请求自动拼批在线服务的吞吐与成本
连续批处理(Continuous Batching)批内任一序列生成完即退出,新请求立刻补位生成式任务的吞吐,减少空转

区别要点:静态批处理是“排好队再统一开跑”,动态批处理是“边来边拼”,连续批处理则进一步解决了“同批里有人先说完、其他人还在说”的浪费问题。

实际意义

对从业者:窗口大小是需要调的关键参数,也是服务等级协议(SLA)的关键取舍点。窗口设大,单位成本下降、P99 首字延迟上升;设小则相反。常见做法是按场景分级——交互式对话用短窗口,摘要、翻译、批量打标这类可容忍等待的任务用长窗口或干脆走离线批推理。压测时要把“平均延迟”和“首 token 延迟”分开看,只看平均值容易掩盖尾延迟问题。

对普通人:你感受到的“AI 回复前那半秒停顿”,一部分来自模型本身的预填充(prefill)计算,另一部分来自批处理窗口的等待。反过来说,也正因为服务端能把很多人的请求拼在一起计算,同一个模型才能以较低成本同时服务大量用户——这项技术是让推理服务成本降下来的关键技术,具体计费方式和参数以各家官方页面为准。

一句话记住:动态批处理就是 AI 版的电梯拼载,省资源靠攒,省用户时间靠快,二者不可兼得。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。