跳到主内容
快讯直播
AI智模界
AI 词典

Whisper 幻觉:静音处为何冒出字幕

一句话定义:Whisper 幻觉(ASR hallucination)指语音识别系统在一段没有人说话、只有静音、噪声或背景音乐的时间里,凭空“听写”出一句或一整段文本。

展开说原理。ASR(Automatic Speech Recognition,自动语音识别)的任务,是把声音序列映射成文字序列。Whisper 是 OpenAI 推出的语音识别模型系列,用大量带字幕的音频训练,解码时逐词预测下一个词。问题在于:它没有天然学会“这里没人在说话,我应该输出空”。打个比方,像一个特别怕冷场的同声传译,听见话筒电流声也要硬翻一句出来。更麻烦的是,训练语料里很多视频的结尾都带着“感谢观看”“请订阅频道”这类字幕,模型学到这些词常出现在音频尾部或低能量段,于是遇到静音,就把它们“补”了上去。所以幻觉往往不是乱码,而是流畅、像模像样、甚至语法完美的句子,这让它更难被发现。

和相邻概念的区别可以这样看:

现象输入输出特点
静音段幻觉无人声完整句子流畅,与音频无关
普通识别错误有人声错词通常与真实内容相关
漏字漏词有人声缺词内容相关,只是没识别全

它和大语言模型幻觉有相似之处:都是生成模型倾向于输出“像那么回事”的序列;区别在于,LLM 幻觉是无据生成事实,ASR 幻觉是无语音生成文本。

为什么需要 VAD 与置信度过滤?VAD(Voice Activity Detection,语音活动检测)先判断“哪段有人声”,把静音、纯音乐段直接跳过或标记,从源头减少让模型自由发挥的机会。置信度过滤则看模型对每个词的概率,把低置信度的片段丢弃或标出来人工复核。两者分工是:VAD 管“哪里该识别”,置信度管“识别结果可不可信”。

对普通职场人,这意味着用转写工具时,看到静音处冒出来的句子,别急着以为录音里真有人说过。对从业者,做会议记录、播客转写、字幕生成时,在管线里加 VAD 和置信度阈值是基本的工程卫生;如果使用 Whisper 类模型,具体参数和默认行为以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。