跳到主内容
快讯直播
AI智模界
AI 词典

信息检索:RAG 背后那门更老的学问

一句话定义

信息检索(Information Retrieval,IR)研究的是:从海量非结构化资料中找出与用户需求最相关的那几条,按相关度排好序交给用户。它比大模型老得多,搜索引擎是它最成功的工业产品。

它到底在解决什么

想象一座没有目录的图书馆。你不可能把所有书读一遍,再回答“哪本讲了猫的行为矫正”。所以要预先建索引:把“词 → 出现在哪些文档”反过来记录,这就是倒排索引(inverted index)。用户提问时,系统拿查询词去索引里匹配,得到一批候选,再用打分函数(如 BM25)算相关度,从高到低排列。

打个比方:系统不会把整个仓库搬给你,而是先画一张地图,让你几秒内走到货架前。

纯粹的关键词匹配有一处明显不足:“字面不通,意思通”。用户搜“怎么让猫别抓沙发”,文档写的是“猫抓挠家具的行为矫正”,一个说“沙发”,一个说“家具”,词对不上,就漏了。于是有了向量检索:把句子压成向量,比较语义的远近。今天常见的做法是混合召回,把关键词与向量两路结果合并,再加重排序(rerank)。

和相邻概念的区别

RAG(Retrieval-Augmented Generation,AI 词典:检索增强生成">检索增强生成)等于检索加生成,IR 只是前半步:找料。很多 RAG 应用答得不准,问题出在“没找对文档”,而不是模型不会写。

维度信息检索数据库查询推荐系统
数据形态非结构化文本结构化表字段行为与内容
用户输入模糊的查询词精确的筛选条件往往没有显式输入
返回结果按相关度排序的列表精确命中的结果集排好序的候选
有无唯一答案没有,只有好坏之分有,非黑即白看长期指标

对从业者和普通人的意义

从业者:RAG 里那些要调的参数,比如文档怎么切块、用哪个嵌入(embedding)模型、召回几条、要不要重排,全是 IR 的老问题。召回阶段如果没有把正确文档找出来,后面再强的模型也只能在错的材料上写作文。

普通人:搜不到东西时,先别怪搜索工具笨。换个更接近文档写法的词、加限定条件、缩小范围,本质上是在帮检索系统对齐词表。检索系统给出的是相关度排序,不是标准答案;结果排第一,不等于它就对。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。