一句话定义：RAGAS（RAG Assessment）是一个开源的 RAG 评测框架，它让大模型充当裁判，在不需要人工逐条打分的情况下，分别评估 RAG 系统中“检索”和“生成”这两个环节的表现。
它解决什么问题
RAG（Retrieval-Augmented Generation，AI 词典：检索增强生成">检索增强生成）的出错方式有两种：一种是检索环节没找对资料，另一种是资料找对了但模型自由发挥。只看最终答案，你无法区分是哪一种问题。RAGAS 的做法是把评测拆开，用几个互相独立的指标分别衡量。
打个比方：RAG 像一家餐厅，检索是采购，生成是后厨。忠实度检查菜里用到的食材是否都来自采购清单，有没有凭空变出东西；答案相关性检查客人点的菜和端上来的菜是否对得上；上下文召回率检查采购有没有漏买关键食材；上下文精确度检查买回来的好食材有没有放在最前面。分开检查，才知道该整改采购还是整改后厨。
几个核心指标怎么算
| 指标 | 考察什么 | 简化算法 | 是否需要标准答案 |
|---|---|---|---|
| 忠实度 Faithfulness | 有没有编造 | 把答案拆成若干条独立陈述，逐条判断能否由检索到的上下文推出，再算“有依据的陈述占比” | 否 |
| 答案相关性 Answer Relevance | 有没有答非所问 | 让模型根据答案反过来生成若干个“这答案在回答什么问题”，再与原问题算相似度取平均 | 否 |
| 上下文精确度 Context Precision | 相关资料有没有排在前面 | 看检索结果中相关片段是否集中在靠前位置 | 可不需要，也可对照标准答案 |
| 上下文召回率 Context Recall | 该找的资料有没有找到 | 把标准答案拆成陈述，看其中多少条能在检索内容里找到依据 | 是 |
这些步骤都由一个“裁判模型”执行，所以 RAGAS 本质上属于 LLM-as-a-Judge（用大模型做评判）这一类方法。前两个指标不需要标准答案，这意味着你可以先拿线上真实问题跑一轮，快速看出系统是在编造内容还是检索没有找到所需资料。
和相邻概念的区别
传统指标如 BLEU、ROUGE 比较的是“字符串重合度”，但同一个意思换个说法，分数就会崩，而且它们只给一个总分。RAGAS 比较的是“语义与依据”，并且输出分项分数，能定位问题。它也不等同于链路追踪工具：追踪工具告诉你每一步耗时多少、检索了哪些片段，RAGAS 则告诉你这些片段和最终答案的质量如何。两者常配合使用。
对实际工作的意义
落地时通常这样用：先攒一小批“黄金问题集”，包括问题、标准答案和正确上下文，几十条就够；每次修改提示词、更换嵌入模型或调整切片策略，都跑一遍；重点看哪个分项掉分。注意两个问题：裁判模型有随机性，分数会有波动，应关注趋势，不要把 0.82 和 0.84 的差异当成结论；裁判模型自身也会误判，关键场景仍需人工抽查。具体指标定义与用法以官方文档为准。