跳到主内容
快讯直播
AI智模界
AI 词典

多租户推理的公平调度:别让一个大请求堵死所有人

一句话定义:多租户推理的公平调度(fair scheduling in multi-tenant inference),是指把同一套模型服务同时开放给多个用户、团队或应用(这些使用者就是“租户”,tenant)时,用一套分配规则保证任何一方的等待时间都不会因为别人提交了大任务而被无限拉长。

为什么会有这个问题

大模型推理和传统接口调用不太一样。生成一段 3000 字的回答,不是一次性算完返回,而是一个 token 一个 token 地往外吐,整个过程持续占用显存里的 KV cache(键值缓存)和一个计算槽位。于是麻烦来了:一个用户上传 200 页 PDF 做总结,另一个人只想问“今天几号”,后者却得排在前面那位的“长任务”后面干等。

打个比方:打印店只有一台打印机,前面那位在打 300 页论文,你打一张身份证也得跟着等一小时。更糟的是,如果那位常客一直不停地提交长文档,你可能永远轮不上——这就是“饿死”(starvation)。

为什么“先来先服务”不够

最朴素的先来先服务(FIFO)看着公平,其实只保证了顺序,没保证等待上限。它有两个漏洞:一是请求长度分布极不均匀,短请求会被长请求“队头阻塞”(head-of-line blocking);二是不同租户的提交频率差异巨大,谁提交得猛谁就占住机器,安静的用户反而吃亏。排队公平不等于结果公平。

公平调度大致怎么做

通用的思路是:记账,然后按账分配。常见手段包括:

  • 按消耗量而非请求数记账:一个请求可能只花 10 个 token,也可能花 1 万个,所以按已生成的 token 量或占用的计算时间来分配额度;并借用虚拟时间、虚拟计数器之类的办法判断“谁欠谁”。
  • 加权配额:给每个租户设权重,付费高的、内部核心业务的权重可以更大,但仍要有上限。
  • 分块与轮转:把长请求切成小块(分块预填充,chunked prefill),算一段就让出位置,让短请求插进来。
  • 抢占(preemption):万一大请求已经占住槽位,可以把它算到一半的中间状态临时换出到内存或硬盘,腾地方给急件。
  • 硬上限:限制单租户最大并发数和最长输出长度,避免一个人吃掉整桌菜。

和相邻概念的区别

策略主要关心什么典型风险
先来先服务(FIFO)到达顺序长请求造成队头阻塞
限流(rate limiting)进入系统的速率已进入的请求仍可能被拖慢
优先级调度谁更重要低优先级被长期饿死
负载均衡请求分到哪台机器不解决单机内部的排队
公平调度每个租户等待时间的上界实现复杂,吞吐可能略降

注意区分:负载均衡管“去哪台机器”,限流管“能不能进门”,公平调度管“进门之后先算谁的”。

对实际工作的意义

对从业者:监控指标要看分租户的 P99 排队时长,而不是只盯平均值——平均值好看、长尾很难看是这类系统的常态。计费与配额最好按 token 或计算时间计量;给大请求设上限;把分块预填充和抢占纳入设计选项。具体实现方式各家框架不同,以官方文档为准。

对普通人:你大概遇到过——同公司共用一套 AI 助手,同事在批量处理长文档时,你问一句话也要转半天圈;或者企业版强调“独占算力”“专属配额”,卖的就是公平性;再或者某些产品限制单次输出长度,那既是成本控制,也是一种调度保护。

公平调度的目标不是让所有人一样快,而是让没有人被无限期地排在后面。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。