一句话定义:检查点保存成本(checkpoint save cost),指训练模型时把当前训练进度完整写入磁盘一次,所需的时间、存储空间和带宽代价之总和。
训练很少能一口气跑完。为防机器故障、任务被抢占或代码崩溃,需要定期保存状态,这份保存结果就是检查点(checkpoint)。它不只包含模型权重(weights),还包括优化器状态(optimizer states;Adam 这类优化器会为每个参数保存动量和方差两份状态,加起来往往是参数体积的好几倍)、学习率调度进度、数据加载位置和随机数状态。因此,大模型保存一次检查点,占用几十 GB 到上百 GB 是常态。
打个比方:打游戏存档。存档文件小,可以随手存;存档文件几十 G,存一次要十几秒,画面就卡在那里。存得太勤,整局都在卡顿;存得太疏,打到关底断电,几小时白打。检查点成本本质上就是这个“存档频率的两难”。
| 保存对象 | 体积 | 典型用途 |
|---|---|---|
| 完整检查点 | 最大(权重+优化器状态+杂项) | 断点续训 |
| 推理用权重 | 小得多(通常只有参数) | 上线部署 |
| 训练指标日志 | 几乎可忽略 | 看曲线、报警 |
很多人会混用“保存模型”和“保存检查点”,其实前者只是后者的一部分:要接着训练,优化器状态不能丢;要拿来推理,丢掉这些状态反而更轻。
对从业者来说,这项成本要求在三个方面做设计:存储,即保留几份、留多久;IO,即让训练卡等待磁盘写入,还是后台异步写;故障恢复,即多久存一次、能接受白跑多久。常见做法是异步保存、分片并行写入,近期密存、远期只保留权重。具体实现方式和默认策略,各家框架不一样,以官方文档为准。
对普通职场人,道理相同:文档自动保存越频繁,设备越容易卡顿。备份频率始终要和“重来一次的代价”对齐。
