一句话定义:加权轮询(Weighted Round Robin,WRR)是一种负载均衡调度策略:给每台后端服务器设定一个权重,权重越高分到的请求比例越大,同时整体仍按“轮流”的方式发放。
为什么需要权重:机器规格不一样。8 卡 GPU 的推理副本和单卡机器能承接的并发量差好几倍;灰度发布时,新版本通常只想接收小比例流量。给它们设成 4:2:1 这样的权重,就能按比例分流。
最直观的做法与问题:最直接的实现是把权重展开成序列,4:2:1 排成 A A A A B B C 循环发放。问题很明显:前四个请求会全部落到 A。在毫秒级真实流量里,这就是一次小突发,A 的请求队列短时间内迅速堆积,另外两台却空闲。
平滑加权轮询如何解决这个问题:平滑加权轮询(Smooth Weighted Round Robin)给每台机器维护两个数:固定权重 weight,和动态的 currentWeight(初值为 0)。每次选机器三步:
1. 所有机器 currentWeight += 自己的 weight;
2. 选中 currentWeight 最大的那台发出去;
3. 被选中的机器 currentWeight -= 总权重(此例为 7)。
仍按 4:2:1 走七轮,选中顺序依次是 A B A C A B A,没有出现连续同台,七轮内的比例又正好是 4:2:1。
关键在于第三步的“扣减”:权重高的机器一旦被选中,currentWeight 立刻降到较低的值,随后几轮会排在别的机器后面。可以理解成额度和欠账:谁刚被照顾过,谁就先“欠着”,接下来自然把机会让出去。没有这一步扣减,权重就只是单纯的排队次数;有了它,高权重机器多分流量,但每次分完之后都先排到后面。
与相邻概念的区别:
| 策略 | 依据 | 短时间窗表现 | 典型用途 |
|---|---|---|---|
| 轮询(Round Robin) | 一视同仁 | 绝对均匀 | 同规格副本 |
| 加权随机(Weighted Random) | 权重概率 | 可能连续命中同一台 | 实现简单、量大的场景 |
| 加权轮询(WRR) | 配置权重 | 比例准且分布平滑 | 异构机器、灰度放量 |
| 最少连接(Least Connections) | 实时连接数 | 跟着负载走 | 请求耗时差异大 |
| 一致性哈希(Consistent Hashing) | 请求特征 | 固定落到同一台 | 缓存命中、会话保持 |
差别在于各自看什么:WRR 看配置比例,最少连接看当前有多忙,一致性哈希看请求是谁发的。
对从业者的意义:AI 服务里到处是它的影子——多副本推理服务前面挂网关、不同规格实例混部、灰度放量、异构 GPU 池按算力分配。真正值得记住的是:比例正确并不等于体验好,突发才是导致服务过载的最常见原因。做容量规划时,除了算权重比例,也值得确认调度算法在短时间窗内是否把流量均匀分散开。各家网关和负载均衡产品的具体实现与参数名不同,以官方文档为准。
