一句话定义:漏桶算法(Leaky Bucket)是一种限流方法:请求先注入一个容量固定的“桶”,桶底以恒定速率漏出请求并交给下游;桶满之后,新请求要么排队等待,要么被直接拒绝。
原理与类比
桶底那个小孔相当于下游的处理能力,桶身则相当于一个缓冲区。无论上游一瞬间倒进多少水,也就是无论突发流量(burst)有多大,从孔里流出的始终是一股均匀的细流。生活中最贴切的例子是客服热线:某一刻可能同时有上百个电话打进来,它们先排队听音乐,而接通速度只取决于坐席数量,基本恒定。桶的容量决定“能吸收多少突发”,孔径大小决定“长期平均速率”。
实现上常见两种做法:队列版让请求排队、按固定间隔放行,能缓冲瞬时高峰,但会增加延迟;计数器版不排队,只按固定速率放行、超出即拒,实现简单但平滑度差一些。
与令牌桶(AI 词典:Token">Token Bucket)的关键差别
这对概念最容易被混为一谈。令牌桶是“发许可证”:系统以恒定速率往桶里放令牌,请求必须领到令牌才能通过;桶里攒下的令牌意味着允许突发,空闲一阵后可以一口气放行一批。漏桶管的是出口,不管入口攒了多少“额度”,出去的水永远是匀速的。
| 维度 | 漏桶 Leaky Bucket | 令牌桶 Token Bucket |
|---|---|---|
| 控制对象 | 流出的速率 | 流入的许可 |
| 输出是否匀速 | 是,恒定速率 | 否,允许突发 |
| 突发流量 | 排队或丢弃 | 消耗存量令牌,短时放行 |
| 典型用途 | 流量整形、保护下游 | 限流、带突发的配额 |
一句话记法:漏桶让“出去的”变均匀,令牌桶让“进来的”有额度。
对从业者的实际意义
在 AI 系统里,流量几乎从来不是均匀的:调用模型 API、GPU 推理服务接收请求、爬虫抓取外部网页、往向量库批量写入,都会出现“一阵猛、一阵空”的情况。如果下游处理能力固定,比如单机推理吞吐有上限,漏桶就是保护它的合适工具:超出处理能力的部分排队或快速失败,避免雪崩。反过来,如果产品上希望用户空闲后能“攒够额度连发十条”,那就该用令牌桶。两者也能串联:前面用令牌桶管配额,后面用漏桶把出口流程调整平滑。具体参数和实现细节,以各家官方文档为准。
