跳到主内容
快讯直播
AI智模界
AI 词典

可用 GPU 率:机架里到底有几张卡在真干活

一句话定义

可用 GPU 率(Usable GPU Ratio)指的是:一个集群里真正能持续交付算力的 GPU,占标称 GPU 总量的比例。计算时,分母是你花钱买回来的卡,分子是那些没在等、没被卡住、没被拆散的卡。

标称 100 张,真正干活的可能只有 70 张

把集群想成一个后厨。灶台买了一百口,出菜却慢,原因往往不是灶少:有的灶在等配菜端上来;案板被切得太碎,整条鱼放不下;厨师被分到三个包厢之间来回跑。算力也是被这三件事消耗掉的。

  • 同步等待(synchronization stall):分布式训练里,每张卡算完一小步,都要和同伴对齐梯度(All-Reduce 之类的集合通信)。全员到齐才能继续,于是快卡等慢卡,最慢的那张决定了整排卡的速度。这段等待里,GPU 通着电、被任务占着,但没在算。
  • 显存碎片(memory fragmentation):显存反复申请、释放之后会留下很多小块空洞。总量明明够,却凑不出一块连续空间来放下新任务,卡只能挂着排队。就像停车场空位不少,但全是零散小车位,大货车停不进来。
  • 拓扑错配(topology mismatch):卡之间的互联并不等价,同机箱内的互联和跨机网络的带宽差着好几个量级。如果调度器把一个大任务拆到分散的机器上,通信开销就会吃掉算力。相当于包场吃饭,人被分到三个包厢,每道菜都要跑一趟。

一个有代表性的案例是:在 Grace Blackwell 平台上换用新一代调度与资源管理组件之后,可用 GPU 数量提升了约 27%。注意,卡没换、频率没提,多出来的只是原本在等、在卡的那些卡(具体数字以官方发布为准)。

和几个相邻指标的区别

指标看的是什么常见失真
分配率卡有没有被任务占住占着不动也算
GPU 利用率采样时刻有没有指令在跑忙等、空转轮询也算忙
可用 GPU 率卡能否持续交付算力要按任务口径统计
MFU(Model FLOPs Utilization)单个任务实际算力占峰值的比例反映不了集群整体闲置

一句话:分配率是“分出去了”,利用率是“灯亮着”,可用率是“真出活”。

对从业者意味着什么

先量后买。把闲置按同步等待、显存碎片、拓扑错配这三类分别归因,对应到一组具体手段:用 gang scheduling(成组调度)和拓扑感知放置来减少等待和通信开销,用显存池化、按块分配来减少碎片,用通信与计算重叠来掩盖等待。扩容之前值得算一笔账:多买三成卡,和把可用率从七成提到九成,哪个更划算。对管理者来说也一样:报表上的“我们有 N 张卡”和“我们能用 N 张卡”是两个数字,预算该按后者做。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。