一句话定义:显存水位线(VRAM watermark)是给 GPU 显存占用预设的几档警戒刻度;自动降级(automatic degradation)是占用越过刻度时,推理服务按预案主动减少资源消耗,而不是一直占满显存直到 OOM(Out of Memory,显存溢出)把进程弄崩。
为什么需要水位线
一次推理占用的显存大致分为三块:模型权重是静态的,可以预估;AI 词典:KV Cache">KV Cache 会随并发数和上下文长度增长,最不可控;另外还有算子运行时临时占用的工作区。前两块好算,第三块则像房间里越堆越高的杂物。
打个比方:显存像一座水库,权重是固定的库容,KV Cache 会随降雨量涨落。到了警戒水位就要开闸泄洪,而不是等漫坝。OOM 就是漫坝了——轻则单个请求失败,重则整个进程被杀掉,重启后要重新加载权重、清空缓存,这段时间所有并发请求一起挂。
降级一般按这个顺序
| 档位 | 触发条件 | 动作 | 代价 |
|---|---|---|---|
| 一档 | 越过软水位 | 降低批大小,降低并发上限 | 吞吐下降,排队变长 |
| 二档 | 继续上涨 | 限制或截断上下文,拒绝超长请求 | 长文档任务受影响 |
| 三档 | 逼近硬水位 | 改用更省显存的注意力实现,减少 KV 预留 | 延迟略有变化 |
| 四档 | 仍不回落 | 切换到小模型或量化版本 | 质量下降,需明确告知调用方 |
要点是分级、可观测、可回滚:每档都要有恢复条件;水位回落时要能逐档升回,否则会一直卡在低档位无法恢复。
与相邻概念的区别:限流(rate limiting)是在入口拒绝请求,不改变单个请求占用多少显存;扩缩容(autoscaling)是增加机器,生效慢、成本高;降级是在同一张卡上减少资源消耗,响应快;OOM 是被动事故,降级是主动策略。对应的上位概念叫优雅降级(graceful degradation)。
对从业者的意义:水位线是 SLO 的最后一道防线。上线前要先想清楚哪些请求可以降、降级后如何告知调用方、质量下降能否接受;阈值应来自压测,并且能在线调整。具体阈值与开关项以官方文档和自家压测结果为准。
