跳到主内容
快讯直播
AI智模界
AI 词典

检查点保存成本:训练里最贵的那次“存档”

一句话定义:检查点保存成本(checkpoint save cost),指训练模型时把当前训练进度完整写入磁盘一次,所需的时间、存储空间和带宽代价之总和。

训练很少能一口气跑完。为防机器故障、任务被抢占或代码崩溃,需要定期保存状态,这份保存结果就是检查点(checkpoint)。它不只包含模型权重(weights),还包括优化器状态(optimizer states;Adam 这类优化器会为每个参数保存动量和方差两份状态,加起来往往是参数体积的好几倍)、学习率调度进度、数据加载位置和随机数状态。因此,大模型保存一次检查点,占用几十 GB 到上百 GB 是常态。

打个比方:打游戏存档。存档文件小,可以随手存;存档文件几十 G,存一次要十几秒,画面就卡在那里。存得太勤,整局都在卡顿;存得太疏,打到关底断电,几小时白打。检查点成本本质上就是这个“存档频率的两难”。

保存对象体积典型用途
完整检查点最大(权重+优化器状态+杂项)断点续训
推理用权重小得多(通常只有参数)上线部署
训练指标日志几乎可忽略看曲线、报警

很多人会混用“保存模型”和“保存检查点”,其实前者只是后者的一部分:要接着训练,优化器状态不能丢;要拿来推理,丢掉这些状态反而更轻。

对从业者来说,这项成本要求在三个方面做设计:存储,即保留几份、留多久;IO,即让训练卡等待磁盘写入,还是后台异步写;故障恢复,即多久存一次、能接受白跑多久。常见做法是异步保存、分片并行写入,近期密存、远期只保留权重。具体实现方式和默认策略,各家框架不一样,以官方文档为准。

对普通职场人,道理相同:文档自动保存越频繁,设备越容易卡顿。备份频率始终要和“重来一次的代价”对齐。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。