跳到主内容
快讯直播
AI智模界
AI 词典

缓存前缀的顺序敏感性

一句话:提示缓存(AI 词典:Prompt Caching">Prompt Caching)只认“从第一个字开始完全一致”的开头;前缀里任何一处变动,从那一处往后都会全部作废。

可以把模型处理提示词想成两个人对暗号:必须从第一句起逐字对上,对到哪算哪。如果第一句就换了词,后面再一模一样也没用,只能从头重来。缓存也是这样:服务端把这次算过的提示前缀存下来,下次请求来了,从第一个 token 起逐字比对,能对上多长就复用多长,第一个不一致的 token 之后全部重新计算。

所以,决定命中多少的,是“重复的部分离开头有多近”,而不是“内容重复了多少”。

一个常见的反面例子:

```text

【系统提示】你是一个客服助手……(很长的规则)

【当前时间】2025-06-01 14:32

【用户问题】……

```

时间戳每分钟都在变,它把后面所有内容都“截断”了。改成下面这样,长规则就能被反复命中:

```text

【系统提示】你是一个客服助手……(很长的规则)

【知识库片段】……

【当前时间】2025-06-01 14:32

【用户问题】……

```

原则只有一条:稳定的放前面,易变的放后面。系统提示、工具定义(tools schema)、few-shot 示例、共享的长文档都属于“稳定”部分;时间戳、会话 ID、随机数、本次才检索到的片段属于“易变”部分。

几个容易混的概念:

概念它回答的问题
提示缓存重复的前缀能不能不重算
缓存命中率这次请求有多少 token 真正命中,是结果指标
上下文窗口一次最多能塞多少 token,和缓存无关
KV Cache模型内部存的注意力键值,提示缓存是它在服务端的复用

对从业者的意义:优化提示词不只是“写得清楚”,还包括“排得稳定”。把变动部分一律放到末尾,是近乎零成本的提速手段;命中的部分通常按更低的费率计费,但具体折扣、最小可缓存长度、缓存存活时间各家不同且会调整,以官方页面为准。

对普通人的意义:在长对话里回头修改最早那条消息,往往会让整段缓存重建,明显变慢;只追问、不翻旧账的对话最顺畅。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。