一句话定义:MTEB(Massive Text AI 词典:Embedding">Embedding Benchmark,大规模文本嵌入评测基准)是一套把几十上百个任务打包在一起的"公共考卷",用来给文本嵌入模型(embedding model)排座次。
它到底在测什么:嵌入模型把一段文字压成一串固定长度的数字向量,语义相近的文字,向量在空间里也靠得近。问题在于,"维度"只告诉你这串数字有多长(768 维还是 1024 维),完全不能说明它压得好不好。MTEB 的做法是找一大堆公开数据集,覆盖多种任务类型,让模型逐个跑一遍,各用各的指标打分,再按任务类型汇总成总榜。
| 任务类型 | 模型要干的事 | 常见指标 |
|---|---|---|
| 检索 Retrieval | 用一句提问从海量文档里捞出最相关的几条 | nDCG@10 |
| 重排序 Reranking | 给一组候选结果重新排顺序 | 排序质量类指标 |
| 聚类 Clustering | 把没标签的文本自动分组 | V-measure |
| 分类 Classification | 用向量特征做文本归类 | 准确率 |
| 语义相似度 STS | 判断两句话意思有多近 | 与人工打分的相关性 |
打个比方:挑嵌入模型就像挑运动员。维度是身高,看一眼就知道;MTEB 是体检加多项测试——短跑、举重、游泳全测一遍,最后给你一张成绩单。身高 1 米 9 的人未必跑得快,向量 1024 维的模型也未必检索得准。
和相邻概念的区别:维度、参数量属于"规格参数",不是能力证明;通用大模型榜单考的是知识问答和生成,MTEB 考的是"表示"质量——把文本变成向量这件事做得好不好;而 BEIR 这类早期基准专注检索一个方向,MTEB 覆盖面更宽,检索只是其中一类任务。
对从业者的意义:第一,别看总平均分一刀切,去看和你业务对应的子榜——做 RAG 知识库就盯 Retrieval,做内容去重就盯 Clustering,做多语言产品就先确认语言覆盖。第二,榜单分数不等于上线效果,你的语料分布、专业术语密度、文本长度都可能和考题不同,最好自己抽几百条真实数据做小规模验证。第三,别忽略工程成本:向量维度直接决定存储占用和检索延迟,长文本还要看模型的最大输入长度。第四,看许可协议,商用限制各不相同。
对普通人的意义:你在搜索框里搜东西、在电商里看到"相似商品"、在客服知识库里问问题,背后往往就是这个模型在找。排行榜只是采购时的参考起点,不是效果保证。
最后提一句:榜单会持续更新,数据集版本也会调整,具体分数和收录情况以官方页面为准。
