公平队列(Fair Queuing)是一种排队调度策略:它不按"谁先到"服务,而是把请求按来源分成若干条独立的队,再让调度器轮流从每条队里取,保证每一方都能拿到属于自己的那份服务时间。
一个收银台的比喻
想象超市只有一个收银台。如果所有人排一条队,前面那位推着三整车货,后面只买一瓶水的人也得干等——这就是先来先服务(FIFO, First In First Out)的毛病。公平队列相当于给每位顾客单独开一条队,收银员按轮转(round-robin)方式,这条队取一单、那条队取一单。买三车货的人依然要花很久,但他只占用自己那条队的时间,不会把别人一起拖住。
放到多租户系统里
假设一个推理服务后面只有有限算力。用户 A 提交了一个超长上下文的批量任务,要跑很久;用户 B 只想问一句短问题。如果两者挤在同一条 FIFO 队列里,B 就得陪 A 一起等——这就是常说的"吵闹的邻居"(noisy neighbor)问题。公平队列的做法是按租户(tenant)分队列,调度器在 A 队和 B 队之间轮转。如果希望付费更多的 A 多拿资源,就给每条队配一个权重(weight),变成加权公平队列(WFQ, Weighted Fair Queuing):权重 4:1 意味着 A 每被服务四次,B 被服务一次。
工程上还常见赤字轮询(DRR, Deficit Round Robin),它处理"每个请求大小不一"的情况:轮到你时额度装不下整个请求,就把额度攒到下次一起用,避免大请求永远排不上。
和相邻概念的区别
| 策略 | 服务顺序 | 典型问题 |
|---|---|---|
| 先来先服务 FIFO | 严格按到达时间 | 一个大请求堵住所有人 |
| 优先级队列 | 高优先级永远先走 | 低优先级可能被饿死(starvation) |
| 公平队列 | 按来源分组,轮转或加权轮转 | 要额外维护每条队列的状态 |
| 限流(Rate Limiting) | 超额直接拒绝或降级 | 只挡洪峰,不解决队内排序 |
关键区别是:限流是"你超了,我就拒你";公平队列不拒绝请求,它只决定排队顺序。两者经常搭配使用——先用限流挡住突发洪峰,再用公平调度保证剩下的请求互不挤压。优先级队列则相反,它的目标是让重要的先走,代价是低优先级可能一直轮不到。
对从业者的实际意义
在模型 API、推理服务、训练集群的任务调度里,多租户几乎是默认场景。一个用户的超长请求或大批量任务,如果和别人的实时请求挤在同一条队列,延迟指标立刻会难看。公平队列提供了一种低成本的隔离感:不必给每个租户单独部署一套资源,只要在调度层按租户分队列、按权重轮转,就能大幅降低"一个人拖垮所有人"的概率。落地时通常按 token 数或计算量而非请求条数来计轮转份额,因为一条请求的成本可能相差好几个数量级——具体参数各家实现不同,以官方页面为准。
普通人其实也在受益:你用的共享服务在别人跑批时没有明显变慢,背后往往就有这类调度策略在工作。
