一句话定义
冷热数据分层(Storage Tiering)指按数据的被访问频率,把它放到不同性能、不同成本的存储介质上:常读常写的"热数据"留在快而贵的层,长期没人碰的"冷数据"沉到慢而便宜的层。它优化的不是空间,而是"钱花得对不对、速度够不够"。
原理:给数据安排座位
想象一下家里的收纳:灶台边只放每天用的盐、糖、酱油;一周用一次的香料进吊柜;一年开一次的行李箱塞床底。没人会把所有东西堆在灶台上,也没人会把盐锁进地下室。存储分层就是同一件事,只是把"取用频率"换成"访问频率",把"柜子深浅"换成"介质快慢"。
典型的三层大致是:内存或本地 NVMe 盘做热层,标准对象存储做温层,归档存储或磁带做冷层。层与层之间单位成本可能相差一个数量级,代价是读取延迟,以及冷层取回数据时要等待。
AI 工作里,各类数据的"体温"差别很大
| 数据类型 | 体温变化 | 建议落位 |
|---|---|---|
| 训练中的最新模型权重(checkpoint) | 热,写入频繁 | 高速本地盘,保证中断后能快速恢复 |
| 历史 checkpoint | 转冷,但偶尔要回溯对比 | 先进标准层,超过保留窗口再归档 |
| 训练语料 | 训练时热,训完转冷,重训或微调时回热 | 原始语料放标准层或低频层,正在训练的批次缓存到高速盘 |
| 训练日志、推理日志 | 写入时热,几天后基本只用于排查和审计 | 短期留在热层,按时间自动降层 |
| 向量索引、特征库 | 长期热 | 内存或高速 SSD,通常不能降层 |
容易混淆的三个概念
缓存(Caching)是热层里再切一小块更快的空间,存的是副本,满了就自动淘汰,对上层透明;分层是对数据主体"住在哪"的决策;备份(Backup)是另一份拷贝,解决"数据没了",分层解决"数据放贵了"。实际落地时,分层通常靠生命周期策略(Lifecycle Policy)自动执行,而不是靠人手动搬文件。
对从业者的实际意义
第一,账单结构要看清:便宜的层往往在取回、请求次数、最小存储时长上另有收费规则,具体以各家官方页面为准。第二,只盯每 GB 单价是常见坑:GPU 等数据空转的成本,常常比存储差价更贵,所以热层要看的带宽,不只是容量单价。第三,动手前先量化三件事:每类数据的访问频率、可接受的恢复时间目标(RTO)、合规保留期。没有这三个数,分层就是拍脑袋。第四,默认策略设成"新数据先落热层,按最后访问时间自动降层",让规则持续运行,而不是做一次性的搬家。
