跳到主内容
快讯直播
AI智模界
AI 词典

稠密检索:搜索比的是意思,不是字面

一句话定义:稠密检索(Dense Retrieval)是把查询和文档各自压缩成一串固定长度的数字(向量),再比较这两串数字有多接近,从而找出“意思相近”内容的检索方式。

它怎么工作

关键词检索把文本当成一堆词。你搜“手机没电了”,它到倒排索引里找含有“手机”“没电”的文档,命中越多分越高——BM25 就是这类稀疏检索(Sparse Retrieval)的经典代表,判断标准是字面重合。

稠密检索换了思路。先用编码器(Encoder,常见是双塔结构 Bi-encoder)把每篇文档读一遍,输出一个几百到上千维的向量。你可以把它想成一张“语义坐标图”:意思相近的句子,落点就挨得近。文档向量可以离线算好、建进向量索引;用户提问时,同一套编码器把问题也变成向量,再去找索引里离它最近的那些点。相似度常用AI 词典:余弦相似度">余弦相似度衡量,规模一大就用近似最近邻(ANN,Approximate Nearest Neighbor)索引来换速度。

打个比方:关键词检索像按卡片找书,卡片上写着哪些词,书里就必须出现哪些词;稠密检索像一位读过全部藏书的馆员,你说“想找本讲人怎么面对失败的”,他能抱来几本标题里根本没“失败”二字的书。

和关键词检索的本质差别

关键词/稀疏检索稠密检索
匹配依据字面重合语义相近
文本表示词表维度的高维稀疏向量,绝大多数是 0几百到上千维的稠密向量,几乎每维都有值
换个说法、同义词容易漏通常能召回
型号、人名、编号等精确串强项偏弱,可能被“意思差不多”带偏
可解释性高,能指出命中了哪些词低,只给一个相似度分数

所以“怎么修 XJ-2000 的报错码”这种查询,关键词往往更稳;而“预算不够怎么说服老板”这种查询,稠密检索才发挥得出来。

对从业者的意义

稠密检索的效果上限很大程度由编码器决定。通用模型在垂直领域(法律、医疗、公司内部黑话)常不够用,需要领域数据微调或换更合适的嵌入模型;文档怎么切块(Chunking)也直接影响召回质量。实务里很少二选一,常见做法是混合检索(Hybrid Search):关键词负责精确命中,稠密向量负责语义兜底,两路结果融合后再交给重排模型(Reranker)精排。

对普通人的意义

搜索框越来越“听得懂人话”,你不用再猜该用哪个词。但也要留心:稠密检索会“自信地”返回意思相关、事实却不对的内容。所以在问答类产品里,能看到出处、能点开原文核对,比只读一句总结靠谱得多。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。