一句话定义:准入控制(Admission Control)是在请求真正进入系统之前,先判断“现在接不接得住”;如果接得住,再按什么顺序接的一套决策机制。
打个比方:热门餐厅门口有位领位员。他的工作不是把门开得越大越好,而是看着后厨的出菜速度、空桌数和等位区长度,决定这批客人放几个进去、几个去等位区、几个劝他改天再来。如果他不做判断,谁想进就进,结果是大堂挤满、厨房过载、所有人一起饿着——这就是没有准入控制的系统在流量高峰时的样子。
它在判断什么、做什么:判断依据通常是当下真实的压力信号,比如并发请求数、排队长度、GPU 显存与 KV cache 占用、P99 延迟、错误率、各租户已用配额。据此做四类动作:
| 动作 | 含义 | 典型表现 |
|---|---|---|
| 放行 | 资源够,正常处理 | 正常返回结果 |
| 排队 | 稍后能处理,但要设超时 | 客户端等待或拿到“处理中” |
| 降级 | 接得住但接不好,降质保量 | 换小模型、截断上下文、命中缓存答案 |
| 拒绝 | 接了必然拖垮,快速失败 | 返回 429 / 503 并提示重试 |
关键细节是:拒绝要快、要早、要可解释。让请求进来跑三十秒再超时,比一开始就干脆拒绝更糟——它已经消耗了资源,还占着连接。
和相邻概念的区别:限流(Rate Limiting)按时间窗控制速率,是准入控制的输入信号之一;熔断(Circuit Breaking)是已经出问题后断开链路;负载均衡(Load Balancing)决定“给谁处理”,不决定“接不接”;背压(Backpressure)是把压力信号传回上游;排队(Queueing)发生在准入之后。准入控制是那个站在最前面拍板的人。
对从业者的意义:大模型服务尤其需要它。因为单请求成本差异极大——同样是一次调用,几百 token 的问答和几万 token 的长文档分析,占用完全不同。所以只看 QPS 会失真,更合理的做法是按 token 预算、显存水位、上下文长度分档做准入,并给不同业务线设定优先级与配额。以各云厂商官方文档为准。
对普通人的意义:高峰期产品突然变慢、出现排队提示、答案质量好像“变笨了”、报错让你稍后重试——这些多半不是 bug,而是准入控制在替所有人保住可用性。如果你是业务方,与其抱怨限流,不如提前申请配额、把非关键请求做成可降级、可异步,这才是高峰期不被挤下桌的正确姿势。
