一句话定义:Whisper 幻觉(ASR hallucination)指语音识别系统在一段没有人说话、只有静音、噪声或背景音乐的时间里,凭空“听写”出一句或一整段文本。
展开说原理。ASR(Automatic Speech Recognition,自动语音识别)的任务,是把声音序列映射成文字序列。Whisper 是 OpenAI 推出的语音识别模型系列,用大量带字幕的音频训练,解码时逐词预测下一个词。问题在于:它没有天然学会“这里没人在说话,我应该输出空”。打个比方,像一个特别怕冷场的同声传译,听见话筒电流声也要硬翻一句出来。更麻烦的是,训练语料里很多视频的结尾都带着“感谢观看”“请订阅频道”这类字幕,模型学到这些词常出现在音频尾部或低能量段,于是遇到静音,就把它们“补”了上去。所以幻觉往往不是乱码,而是流畅、像模像样、甚至语法完美的句子,这让它更难被发现。
和相邻概念的区别可以这样看:
| 现象 | 输入 | 输出 | 特点 |
|---|---|---|---|
| 静音段幻觉 | 无人声 | 完整句子 | 流畅,与音频无关 |
| 普通识别错误 | 有人声 | 错词 | 通常与真实内容相关 |
| 漏字漏词 | 有人声 | 缺词 | 内容相关,只是没识别全 |
它和大语言模型幻觉有相似之处:都是生成模型倾向于输出“像那么回事”的序列;区别在于,LLM 幻觉是无据生成事实,ASR 幻觉是无语音生成文本。
为什么需要 VAD 与置信度过滤?VAD(Voice Activity Detection,语音活动检测)先判断“哪段有人声”,把静音、纯音乐段直接跳过或标记,从源头减少让模型自由发挥的机会。置信度过滤则看模型对每个词的概率,把低置信度的片段丢弃或标出来人工复核。两者分工是:VAD 管“哪里该识别”,置信度管“识别结果可不可信”。
对普通职场人,这意味着用转写工具时,看到静音处冒出来的句子,别急着以为录音里真有人说过。对从业者,做会议记录、播客转写、字幕生成时,在管线里加 VAD 和置信度阈值是基本的工程卫生;如果使用 Whisper 类模型,具体参数和默认行为以官方页面为准。
