一句话定义:幻觉率(AI 词典:Hallucination">Hallucination Rate)指模型输出中“读起来很合理、实际上没有依据”的内容所占的比例。幻觉率把“胡说八道”这种很主观的事,换算成一个可以横向比较的百分比。
为什么难测:这就像给生产线算次品率,前提是你得先能一眼认出次品。“答错”其实很好判断,因为标准答案摆在那里;但“编造”不一样:模型编出来的东西往往格式工整、语气笃定、细节丰富,唯一的问题是它并不存在。所以,要计算幻觉率,最关键的一步是先把“什么叫没有依据”定义清楚,光会做除法并不够。
常见做法,大致分四步:
1. 定题库:挑一批有明确答案的事实性问题,或者给模型一份资料、让它据此作答,这种场景叫 grounded QA,也就是有据可依的问答。
2. 拆断言:判断单位是拆成一条条可核查的断言(claim),并非整段回答。一段话里有五个断言、错了两个,和整段直接判“错”,这两种判定给出的信息量完全不同。
3. 判真假:人工标注最准,但也最贵;检索比对便宜,做法是把每条断言拿去知识库查,缺点是容易漏判;让另一个模型当裁判(LLM-as-a-judge)成本低、能规模化,但裁判自己也有偏好和盲区。
4. 算比例:幻觉率等于不被支持的断言数除以总断言数。也有按回答来算的:只要回答里含一处幻觉,就算作“被污染的回答”,再除以总回答数。两种算法得到的结果可能差很多,看到数字先问清楚用的是哪一种。
与相近指标的区别:
| 指标 | 回答的问题 | 典型算法 |
|---|---|---|
| 幻觉率 | 有多少说法是凭空来的 | 无依据断言 / 总断言 |
| 准确率 | 一共答对了多少 | 正确回答 / 总回答 |
| 忠实度(Faithfulness) | 是否忠于给定材料 | 有据可查断言 / 总断言 |
| 校准度(Calibration) | 说“我很确定”时是否真的对 | 置信度与实际正确率的偏差 |
关键区别在于:模型回答“我不知道”算错误,但不算幻觉;材料里明明有、模型却答错,属于不忠实,也未必是幻觉;而“自信地说错”则是校准度差。三类问题对应三种修法,不能只用一个指标解决。
对你的意义:对从业者来说,通用榜单只能作为参考,真正该盯住的是自己业务场景里的幻觉率,因为“什么算有依据”取决于你的用户和知识库。另外值得单独统计的是“高置信度幻觉”:模型越是笃定、错得越是离谱,用户越可能直接采信。把幻觉按“编事实、编引用、编数字”分类,往往比一个总分更有指导性。
对普通人来说,具体的日期、人名、数字、法条和文献名,是最容易凭空生成的一类信息。模型输出可以当草稿的起点,不能当事实的终点;而且幻觉率不会降到零,任何“零幻觉”的宣传都值得怀疑。具体产品的宣称指标,以官方页面为准。
