一句话定义:上下文用量指示器(context usage indicator)是聊天界面上的一个小仪表盘,用百分比或进度环告诉你:这一次请求已经占掉了多少上下文(一次对话中模型能看到的全部内容),还剩多少余量。
它统计的是 token,而不是字数
模型一次能“看见”的内容有硬上限,这个上限叫AI 词典:上下文窗口">上下文窗口(context window)。窗口按 token(词元)计——token 是分词后的最小单位,既不是汉字也不是单词。所以圆环上的百分比,本质是“已装入的 token 数 ÷ 窗口总容量”。同一段话换个模型,因为分词方式不同,百分比可能不一样,这很正常。
打个比方:上下文窗口像一只容积固定的行李箱。系统提示词(system prompt)是出厂自带的隔层,你看不见却一直占地方;历史对话是已经塞进去的衣服;你刚发的那句话是手里正往里塞的一件;模型还要写回答,得留出放“回程战利品”的空位。圆环通常只报“已装箱”的比例,未必报“给回程留了多少”。
哪些内容会被计入
| 内容 | 一般是否计入 | 说明 |
|---|---|---|
| 系统提示词、人设与规则 | 计入 | 每次请求都会带上,是隐形的固定开销 |
| 工具或函数定义 | 计入 | 挂的工具越多,光“说明书”就吃掉一截 |
| 历史对话 | 计入 | 越聊越长,通常是最主要的增长项 |
| 上传文件、检索回来的片段 | 计入 | 一份长文档一下能吃掉大半箱 |
| 你刚发的这条消息 | 计入 | 发出去立刻反映 |
| 模型即将生成的回答 | 视产品而定 | 有的画成单独的“预留区”,有的生成后才计入 |
所以严格说:系统提示词基本一定算,待生成空间算不算取决于产品。这也解释了那种“明明才 70%,怎么就答不下去了”——被预留掉的输出空间没有显示在圆环里。具体统计规则以所用产品的官方页面为准。
别搞混的三件事
- 上下文窗口和用量指示器:前者是杯子容量,后者是刻度线。
- 上下文占用和计费用量:账单按输入、输出的 token 计费,相关但不是同一个数。
- 上下文和模型记忆:窗口里装的只是本次对话的内容,会话清空就没了。
对实际工作的意义
做产品的人,应先把系统提示词和工具定义当成固定预算扣掉,再谈“还能放多少文档”;接近上限时,要有截断、摘要压缩或改用检索的策略,而不是等报错。普通用户记住两点即可:长对话后段变慢、变贵、质量下滑,多半是窗口快满了;看百分比时别只看“已用”,也要留意产品有没有另外给回答留位置。
