跳到主内容
快讯直播
AI智模界
AI 词典

长上下文里,为什么中间那段最容易被忽略

一句话定义:迷失在中间(Lost in the Middle)指的是,当大量信息被一次性塞进大模型的上下文时,模型对开头和结尾的内容记得最牢,对夹在中间的内容反而最容易漏掉、答错或直接跳过。

一个生活化的比方

想象你让一位同事读完一份五十页的材料,然后回答一个问题。人的习惯是:第一页和最后一页印象最深,中间那三十页只剩下模糊的"好像讲过"。大模型在处理长上下文时也呈现类似的"两头重、中间轻"的位置偏好,而且它并不会像人那样明确告诉你"中间我没细看",它常常直接给出一个看似自信的答案。

它不是"上下文窗口不够大"

这是最常见的误解。AI 词典:上下文窗口">上下文窗口(context window)说的是模型一次能装多少 token,属于容量问题;迷失在中间说的是装进去之后有没有真正用上,属于注意力分配问题。窗口开到很长,并不自动等于中间的信息被同等对待。多项公开研究做过类似实验:在一段长材料里埋一条关键信息,位置换一换,放在开头或结尾时回答准确率明显更高,放到中间时明显下降,有时甚至不如只给一小段材料的表现。

它和"幻觉"也不是一回事。幻觉是无中生有,迷失在中间是"材料就在眼前却没被读到",属于检索与注意力层面的失效。

信息位置模型抓取情况应对做法
开头通常较稳放任务指令、最重要的背景
中间最易被忽略分块处理,别把关键内容埋在正中
结尾通常较稳放具体问题、输出格式要求

对从业者的实际意义

检索增强生成RAG)时,不要把召回的一堆文档按相似度排完就原样丢进去。可以考虑把最相关的片段放在最前和最后,中间放次要内容;或者干脆分批喂给模型,先分段小结再汇总。写提示词(prompt)时,把硬性要求放首尾各说一遍,成本很低、收益不低。长文档问答时,明确写"请重点看第 3 节",比只说"根据以上材料回答"稳得多。评估时,别只测短材料,用不同位置、不同长度的样本各测一遍,才能看出真实水位。

对普通职场人的意义

把一份长合同、长报告丢给模型,指望它自己挑出重点,是有风险的。更稳的用法是:先让它分段总结,你确认哪段重要,再针对那一段单独提问;或者在提问时点明位置和关键词。多轮对话变长后也一样,把关键结论在结尾再复述一遍,比假设它一直记得更靠谱。各家模型对长上下文的处理差异不小,具体能力以官方页面为准。

一句话收尾:长上下文不是免费的午餐,位置本身就是一种信息。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。