一句话定义
TTS 重复与漏读(repetition and omission,常被叫作 TTS 幻觉,TTS hallucination)是指语音合成系统在朗读文本时,生成的音频和原文对不上:同一个字、词或音节被反复念,或者整句、整段字词被跳过。它通常不是音频文件损坏,而是文本和声学输出之间的对齐出了问题。
为什么会发生
自回归 TTS(autoregressive TTS)像玩“接龙”:模型根据已经生成的声音,预测下一小段声音,再根据新的历史继续预测。短句里它很容易跟住文本;长文本里,注意力容易漂移,模型可能“忘记自己读到哪了”。
打个比方:一个人照着稿子念,但手指没有跟着字走。读到长句时走神,就可能退回上一行重复,或者直接跳到下一段。重复还会形成正反馈:一旦重复了一次,历史里重复的模式被加强,模型越陷越深,听起来像卡带。漏读则常因为对齐太弱,几个字被“吞”进一个发音,或者一个文本块被整体跳过。
和相邻概念的区别
| 概念 | 本质 |
|---|---|
| ASR 幻觉 | 听错或编造文本 |
| 普通发音错误 | 多音字、音素不准,但顺序基本正确 |
| TTS 重复与漏读 | 文本与语音序列结构性失配,顺序和覆盖出错 |
怎么缓解:alignment 与停顿控制
AI 词典:Alignment">Alignment(对齐)的目标,是让每个文本 token 和声学帧保持单调、稳定的对应关系。常见做法包括单调对齐约束、时长预测器(duration predictor)、注意力限制,以及长文本切分后保留全局位置信息。简单说,就是给模型一根“手指”,让它别乱跑。
Pause control(停顿控制)则是在标点、分句、段落处插入显式停顿或静音时长,给模型“换气”和重置状态的机会。工程上还可以:合理分句,限制单次生成长度,做标点与数字归一化,把缩写展开,必要时用 SSML 的 break 或停顿标记,具体支持范围以官方页面为准。
对从业者和普通人的意义
做有声书、客服播报、长文朗读时,要重点测中后段,因为开头正常不代表后面不崩。普通人听到 TTS 突然卡住或跳字,也别只怪网络,可能是模型对齐漂移。评估时,除了人工听测,还可以做重复检测和漏字检测,把“听起来怪”变成可定位的问题。
