跳到主内容
快讯直播
AI智模界
AI 词典

上下文用量指示器:那只 32% 的小圆环到底在算什么

一句话定义:上下文用量指示器(context usage indicator)是聊天界面上的一个小仪表盘,用百分比或进度环告诉你:这一次请求已经占掉了多少上下文(一次对话中模型能看到的全部内容),还剩多少余量。

它统计的是 token,而不是字数

模型一次能“看见”的内容有硬上限,这个上限叫AI 词典:上下文窗口">上下文窗口(context window)。窗口按 token(词元)计——token 是分词后的最小单位,既不是汉字也不是单词。所以圆环上的百分比,本质是“已装入的 token 数 ÷ 窗口总容量”。同一段话换个模型,因为分词方式不同,百分比可能不一样,这很正常。

打个比方:上下文窗口像一只容积固定的行李箱。系统提示词(system prompt)是出厂自带的隔层,你看不见却一直占地方;历史对话是已经塞进去的衣服;你刚发的那句话是手里正往里塞的一件;模型还要写回答,得留出放“回程战利品”的空位。圆环通常只报“已装箱”的比例,未必报“给回程留了多少”。

哪些内容会被计入

内容一般是否计入说明
系统提示词、人设与规则计入每次请求都会带上,是隐形的固定开销
工具或函数定义计入挂的工具越多,光“说明书”就吃掉一截
历史对话计入越聊越长,通常是最主要的增长项
上传文件、检索回来的片段计入一份长文档一下能吃掉大半箱
你刚发的这条消息计入发出去立刻反映
模型即将生成的回答视产品而定有的画成单独的“预留区”,有的生成后才计入

所以严格说:系统提示词基本一定算,待生成空间算不算取决于产品。这也解释了那种“明明才 70%,怎么就答不下去了”——被预留掉的输出空间没有显示在圆环里。具体统计规则以所用产品的官方页面为准。

别搞混的三件事

  • 上下文窗口和用量指示器:前者是杯子容量,后者是刻度线。
  • 上下文占用和计费用量:账单按输入、输出的 token 计费,相关但不是同一个数。
  • 上下文和模型记忆:窗口里装的只是本次对话的内容,会话清空就没了。

对实际工作的意义

做产品的人,应先把系统提示词和工具定义当成固定预算扣掉,再谈“还能放多少文档”;接近上限时,要有截断、摘要压缩或改用检索的策略,而不是等报错。普通用户记住两点即可:长对话后段变慢、变贵、质量下滑,多半是窗口快满了;看百分比时别只看“已用”,也要留意产品有没有另外给回答留位置。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。