跳到主内容
快讯直播
AI智模界
AI 词典

幻觉率:怎么把模型的“胡说八道”变成一个数

一句话定义:幻觉率(AI 词典:Hallucination">Hallucination Rate)指模型输出中“读起来很合理、实际上没有依据”的内容所占的比例。幻觉率把“胡说八道”这种很主观的事,换算成一个可以横向比较的百分比。

为什么难测:这就像给生产线算次品率,前提是你得先能一眼认出次品。“答错”其实很好判断,因为标准答案摆在那里;但“编造”不一样:模型编出来的东西往往格式工整、语气笃定、细节丰富,唯一的问题是它并不存在。所以,要计算幻觉率,最关键的一步是先把“什么叫没有依据”定义清楚,光会做除法并不够。

常见做法,大致分四步:

1. 定题库:挑一批有明确答案的事实性问题,或者给模型一份资料、让它据此作答,这种场景叫 grounded QA,也就是有据可依的问答。

2. 拆断言:判断单位是拆成一条条可核查的断言(claim),并非整段回答。一段话里有五个断言、错了两个,和整段直接判“错”,这两种判定给出的信息量完全不同。

3. 判真假:人工标注最准,但也最贵;检索比对便宜,做法是把每条断言拿去知识库查,缺点是容易漏判;让另一个模型当裁判(LLM-as-a-judge)成本低、能规模化,但裁判自己也有偏好和盲区。

4. 算比例:幻觉率等于不被支持的断言数除以总断言数。也有按回答来算的:只要回答里含一处幻觉,就算作“被污染的回答”,再除以总回答数。两种算法得到的结果可能差很多,看到数字先问清楚用的是哪一种。

与相近指标的区别:

指标回答的问题典型算法
幻觉率有多少说法是凭空来的无依据断言 / 总断言
准确率一共答对了多少正确回答 / 总回答
忠实度(Faithfulness)是否忠于给定材料有据可查断言 / 总断言
校准度(Calibration)说“我很确定”时是否真的对置信度与实际正确率的偏差

关键区别在于:模型回答“我不知道”算错误,但不算幻觉;材料里明明有、模型却答错,属于不忠实,也未必是幻觉;而“自信地说错”则是校准度差。三类问题对应三种修法,不能只用一个指标解决。

对你的意义:对从业者来说,通用榜单只能作为参考,真正该盯住的是自己业务场景里的幻觉率,因为“什么算有依据”取决于你的用户和知识库。另外值得单独统计的是“高置信度幻觉”:模型越是笃定、错得越是离谱,用户越可能直接采信。把幻觉按“编事实、编引用、编数字”分类,往往比一个总分更有指导性。

对普通人来说,具体的日期、人名、数字、法条和文献名,是最容易凭空生成的一类信息。模型输出可以当草稿的起点,不能当事实的终点;而且幻觉率不会降到零,任何“零幻觉”的宣传都值得怀疑。具体产品的宣称指标,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。