跳到主内容
快讯直播
AI智模界
AI 词典

加权轮询(Weighted Round Robin):按比例分流量,还能避免流量集中

一句话定义:加权轮询(Weighted Round Robin,WRR)是一种负载均衡调度策略:给每台后端服务器设定一个权重,权重越高分到的请求比例越大,同时整体仍按“轮流”的方式发放。

为什么需要权重:机器规格不一样。8 卡 GPU 的推理副本和单卡机器能承接的并发量差好几倍;灰度发布时,新版本通常只想接收小比例流量。给它们设成 4:2:1 这样的权重,就能按比例分流。

最直观的做法与问题:最直接的实现是把权重展开成序列,4:2:1 排成 A A A A B B C 循环发放。问题很明显:前四个请求会全部落到 A。在毫秒级真实流量里,这就是一次小突发,A 的请求队列短时间内迅速堆积,另外两台却空闲。

平滑加权轮询如何解决这个问题:平滑加权轮询(Smooth Weighted Round Robin)给每台机器维护两个数:固定权重 weight,和动态的 currentWeight(初值为 0)。每次选机器三步:

1. 所有机器 currentWeight += 自己的 weight;

2. 选中 currentWeight 最大的那台发出去;

3. 被选中的机器 currentWeight -= 总权重(此例为 7)。

仍按 4:2:1 走七轮,选中顺序依次是 A B A C A B A,没有出现连续同台,七轮内的比例又正好是 4:2:1。

关键在于第三步的“扣减”:权重高的机器一旦被选中,currentWeight 立刻降到较低的值,随后几轮会排在别的机器后面。可以理解成额度和欠账:谁刚被照顾过,谁就先“欠着”,接下来自然把机会让出去。没有这一步扣减,权重就只是单纯的排队次数;有了它,高权重机器多分流量,但每次分完之后都先排到后面。

与相邻概念的区别:

策略依据短时间窗表现典型用途
轮询(Round Robin)一视同仁绝对均匀同规格副本
加权随机(Weighted Random)权重概率可能连续命中同一台实现简单、量大的场景
加权轮询(WRR)配置权重比例准且分布平滑异构机器、灰度放量
最少连接(Least Connections)实时连接数跟着负载走请求耗时差异大
一致性哈希(Consistent Hashing)请求特征固定落到同一台缓存命中、会话保持

差别在于各自看什么:WRR 看配置比例,最少连接看当前有多忙,一致性哈希看请求是谁发的。

对从业者的意义:AI 服务里到处是它的影子——多副本推理服务前面挂网关、不同规格实例混部、灰度放量、异构 GPU 池按算力分配。真正值得记住的是:比例正确并不等于体验好,突发才是导致服务过载的最常见原因。做容量规划时,除了算权重比例,也值得确认调度算法在短时间窗内是否把流量均匀分散开。各家网关和负载均衡产品的具体实现与参数名不同,以官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。