一句话:提示缓存(AI 词典:Prompt Caching">Prompt Caching)只认“从第一个字开始完全一致”的开头;前缀里任何一处变动,从那一处往后都会全部作废。
可以把模型处理提示词想成两个人对暗号:必须从第一句起逐字对上,对到哪算哪。如果第一句就换了词,后面再一模一样也没用,只能从头重来。缓存也是这样:服务端把这次算过的提示前缀存下来,下次请求来了,从第一个 token 起逐字比对,能对上多长就复用多长,第一个不一致的 token 之后全部重新计算。
所以,决定命中多少的,是“重复的部分离开头有多近”,而不是“内容重复了多少”。
一个常见的反面例子:
```text
【系统提示】你是一个客服助手……(很长的规则)
【当前时间】2025-06-01 14:32
【用户问题】……
```
时间戳每分钟都在变,它把后面所有内容都“截断”了。改成下面这样,长规则就能被反复命中:
```text
【系统提示】你是一个客服助手……(很长的规则)
【知识库片段】……
【当前时间】2025-06-01 14:32
【用户问题】……
```
原则只有一条:稳定的放前面,易变的放后面。系统提示、工具定义(tools schema)、few-shot 示例、共享的长文档都属于“稳定”部分;时间戳、会话 ID、随机数、本次才检索到的片段属于“易变”部分。
几个容易混的概念:
| 概念 | 它回答的问题 |
|---|---|
| 提示缓存 | 重复的前缀能不能不重算 |
| 缓存命中率 | 这次请求有多少 token 真正命中,是结果指标 |
| 上下文窗口 | 一次最多能塞多少 token,和缓存无关 |
| KV Cache | 模型内部存的注意力键值,提示缓存是它在服务端的复用 |
对从业者的意义:优化提示词不只是“写得清楚”,还包括“排得稳定”。把变动部分一律放到末尾,是近乎零成本的提速手段;命中的部分通常按更低的费率计费,但具体折扣、最小可缓存长度、缓存存活时间各家不同且会调整,以官方页面为准。
对普通人的意义:在长对话里回头修改最早那条消息,往往会让整段缓存重建,明显变慢;只追问、不翻旧账的对话最顺畅。
