跳到主内容
快讯直播
AI智模界
AI 词典

嵌入截断:长文档被悄悄切掉的尾巴

嵌入截断(AI 词典:Embedding">Embedding Truncation)是指文本送入嵌入模型(embedding model)时,长度超过模型的最大输入上限,超出部分被直接丢弃、不参与向量计算的现象。

可以把它想成一台固定容量的扫描仪:你塞进去一份五十页的合同,它只扫前十几页,后面的页根本没进机器。之后检索系统拿到的“合同摘要”只反映前十几页,后面的付款条款、违约条款、附录,在向量空间里等于没写。模型先把文本切成词元(token),再压成一个固定长度的向量;上限按 token 算,不是按字数算,所以中文、英文、代码的“实际容量”并不一样。具体上限因模型而异,以官方页面为准。常见实现默认保留开头、丢掉结尾,也有保留头尾、丢弃中间的做法,取决于工具配置。

需要区分几个近邻概念。分块(chunking)是主动把长文切成多段、分别嵌入,内容都保留;截断是被动丢弃,二者常被混为一谈。长上下文(long context)说的是模型能读多长,不等于嵌入模型也能吃同样长。向量维度压缩(如 Matryoshka embedding)缩短的是向量本身,不是原文。区别如下:

概念做什么长文会怎样
嵌入截断超限部分直接丢弃尾部内容不进入向量
分块切成多段分别嵌入内容保留,但需合并检索结果
长上下文扩大模型可读 token 数能读更多,仍有上限
向量维度压缩降低向量维度原文完整,向量变短

对从业者,这意味着 RAG(Retrieval-Augmented Generation,检索增强生成)管道里要显式检查每条文本的 token 数,按语义分块而不是按固定字数硬切,给每个块保留来源和位置,超长文档做摘要或层级索引,并在入库环节加截断告警。对普通人,往知识库、客服机器人、文档问答里塞长文件时,把关键结论放前面,或者拆成几个小文件;别指望一整本手册一次喂进去还能被完整检索到。判断标准很简单:文档里明明写了,系统却答不上来,先查是不是尾巴被截掉了。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。