一句话定义
信息检索(Information Retrieval,IR)研究的是:从海量非结构化资料中找出与用户需求最相关的那几条,按相关度排好序交给用户。它比大模型老得多,搜索引擎是它最成功的工业产品。
它到底在解决什么
想象一座没有目录的图书馆。你不可能把所有书读一遍,再回答“哪本讲了猫的行为矫正”。所以要预先建索引:把“词 → 出现在哪些文档”反过来记录,这就是倒排索引(inverted index)。用户提问时,系统拿查询词去索引里匹配,得到一批候选,再用打分函数(如 BM25)算相关度,从高到低排列。
打个比方:系统不会把整个仓库搬给你,而是先画一张地图,让你几秒内走到货架前。
纯粹的关键词匹配有一处明显不足:“字面不通,意思通”。用户搜“怎么让猫别抓沙发”,文档写的是“猫抓挠家具的行为矫正”,一个说“沙发”,一个说“家具”,词对不上,就漏了。于是有了向量检索:把句子压成向量,比较语义的远近。今天常见的做法是混合召回,把关键词与向量两路结果合并,再加重排序(rerank)。
和相邻概念的区别
RAG(Retrieval-Augmented Generation,AI 词典:检索增强生成">检索增强生成)等于检索加生成,IR 只是前半步:找料。很多 RAG 应用答得不准,问题出在“没找对文档”,而不是模型不会写。
| 维度 | 信息检索 | 数据库查询 | 推荐系统 |
|---|---|---|---|
| 数据形态 | 非结构化文本 | 结构化表字段 | 行为与内容 |
| 用户输入 | 模糊的查询词 | 精确的筛选条件 | 往往没有显式输入 |
| 返回结果 | 按相关度排序的列表 | 精确命中的结果集 | 排好序的候选 |
| 有无唯一答案 | 没有,只有好坏之分 | 有,非黑即白 | 看长期指标 |
对从业者和普通人的意义
从业者:RAG 里那些要调的参数,比如文档怎么切块、用哪个嵌入(embedding)模型、召回几条、要不要重排,全是 IR 的老问题。召回阶段如果没有把正确文档找出来,后面再强的模型也只能在错的材料上写作文。
普通人:搜不到东西时,先别怪搜索工具笨。换个更接近文档写法的词、加限定条件、缩小范围,本质上是在帮检索系统对齐词表。检索系统给出的是相关度排序,不是标准答案;结果排第一,不等于它就对。
