一句话定义
推理存储足迹（AI 词典：Inference">Inference Storage Footprint）是指推理服务运行结束后，在持久化存储上留下的数据总量：它关注的是跑完还留在磁盘、对象存储和日志系统里的部分，显存里那一瞬间的占用不算在内。
它到底由什么构成
打个厨房的比方：显存是灶台，KV 缓存（KV cache）是提前切好的备菜，放在台面上方便随手取用。台面不够用时，备菜就被挪进冰箱，甚至挪到隔壁仓库。问题在于，很多系统挪过去之后就忘了取，也忘了扔。
具体有四类东西会留下：
一是KV 缓存落盘。为了复用相同前缀（prefix caching），系统会把算过的 key/value 张量写到内存、SSD 或远端存储。它随上下文长度、会话轮数、并发会话数一起增长，是最容易被当成“免费”的一项。
二是轨迹（trajectory）。Agent 跑一步就记一步：模型输出、工具调用参数、环境返回。跑二十步，每一步都可能塞进一整页网页正文或一整段报错堆栈。
三是工具产物（artifacts）。生成的文件、截图、diff、中间数据集，往往被顺手存进日志目录。
四是长会话日志与可观测性数据。为了排查问题，把完整 prompt 和 response 写进日志系统，再加上索引、副本、冷热分层，实际占用常是原始文本的好几倍。
和相邻概念的区别
推理内存足迹（memory footprint）是运行时的，毫秒级，请求结束就释放；上下文窗口（context window）是单次请求能塞多少 token，是“入口宽度”，不是“留下的垃圾”；训练存储足迹主要是权重和 checkpoint，量大但可预测、有周期。推理存储足迹的特点恰恰相反：单次很小、按会话累积、没有谁一次性审批，所以最容易失控。
| 数据 | 主要增长驱动 | 生命周期 | 常见回收手段 |
|---|---|---|---|
| KV 缓存 | 上下文长度 × 并发会话 | 分钟到小时 | TTL、LRU 淘汰、只缓存高频前缀 |
| 轨迹 | 步数 × 每步返回体积 | 天到月 | 摘要化，保留哈希与关键节点 |
| 工具产物 | 任务类型 | 长期 | 放对象存储、按引用传递、定期清理 |
| 日志 | 流量 × 采样率 × 索引副本 | 周到季 | 采样、脱敏、冷热分层 |
怎么计量
至少打三个标签：租户、会话、任务类型，再叠加冷热层。核心指标是“每千次任务的持久化 GB 数”和“单次会话的平均留存天数”。做法上先按任务类型采样估算，再对占用最大的几类做精确埋点。存储账单必须能和业务指标对齐，否则只能看到总账，找不到该优化哪一项。
怎么回收
- 给推理侧所有数据设 TTL，默认过期，不要默认永久。
- 前缀缓存设容量上限和淘汰策略，命中率不高的前缀不值得留。
- 轨迹“结论保留、过程压缩”：留下最终状态、错误哈希和关键决策点，原始 observation 转冷存储。
- 工具产物只存引用（路径或哈希），不要内联进日志。
- 日志采样，并对相同的 system prompt、工具 schema 做去重。
对从业者的意义
讨论 Agent 成本时，大家几乎都在看 token，但真正随规模悄悄生长的是存储：token 花完就没了，数据留下来却要一直付费，还要承担删除与合规义务。上线前先问一句“这套东西每天新增多少 GB、保留多久、谁负责删”，比事后清账便宜得多。具体配额与保留策略，以各家官方页面为准。