跳到主内容
快讯直播
AI智模界
AI 词典

显存水位线与自动降级

一句话定义:显存水位线(VRAM watermark)是给 GPU 显存占用预设的几档警戒刻度;自动降级(automatic degradation)是占用越过刻度时,推理服务按预案主动减少资源消耗,而不是一直占满显存直到 OOM(Out of Memory,显存溢出)把进程弄崩。

为什么需要水位线

一次推理占用的显存大致分为三块:模型权重是静态的,可以预估;AI 词典:KV Cache">KV Cache 会随并发数和上下文长度增长,最不可控;另外还有算子运行时临时占用的工作区。前两块好算,第三块则像房间里越堆越高的杂物。

打个比方:显存像一座水库,权重是固定的库容,KV Cache 会随降雨量涨落。到了警戒水位就要开闸泄洪,而不是等漫坝。OOM 就是漫坝了——轻则单个请求失败,重则整个进程被杀掉,重启后要重新加载权重、清空缓存,这段时间所有并发请求一起挂。

降级一般按这个顺序

档位触发条件动作代价
一档越过软水位降低批大小,降低并发上限吞吐下降,排队变长
二档继续上涨限制或截断上下文,拒绝超长请求长文档任务受影响
三档逼近硬水位改用更省显存的注意力实现,减少 KV 预留延迟略有变化
四档仍不回落切换到小模型或量化版本质量下降,需明确告知调用方

要点是分级、可观测、可回滚:每档都要有恢复条件;水位回落时要能逐档升回,否则会一直卡在低档位无法恢复。

与相邻概念的区别:限流(rate limiting)是在入口拒绝请求,不改变单个请求占用多少显存;扩缩容(autoscaling)是增加机器,生效慢、成本高;降级是在同一张卡上减少资源消耗,响应快;OOM 是被动事故,降级是主动策略。对应的上位概念叫优雅降级(graceful degradation)。

对从业者的意义:水位线是 SLO 的最后一道防线。上线前要先想清楚哪些请求可以降、降级后如何告知调用方、质量下降能否接受;阈值应来自压测,并且能在线调整。具体阈值与开关项以官方文档和自家压测结果为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。