跳到主内容
快讯直播
AI智模界
AI 词典

TTS 重复与漏读:模型为什么会结巴和跳字

一句话定义

TTS 重复与漏读(repetition and omission,常被叫作 TTS 幻觉,TTS hallucination)是指语音合成系统在朗读文本时,生成的音频和原文对不上:同一个字、词或音节被反复念,或者整句、整段字词被跳过。它通常不是音频文件损坏,而是文本和声学输出之间的对齐出了问题。

为什么会发生

自回归 TTS(autoregressive TTS)像玩“接龙”:模型根据已经生成的声音,预测下一小段声音,再根据新的历史继续预测。短句里它很容易跟住文本;长文本里,注意力容易漂移,模型可能“忘记自己读到哪了”。

打个比方:一个人照着稿子念,但手指没有跟着字走。读到长句时走神,就可能退回上一行重复,或者直接跳到下一段。重复还会形成正反馈:一旦重复了一次,历史里重复的模式被加强,模型越陷越深,听起来像卡带。漏读则常因为对齐太弱,几个字被“吞”进一个发音,或者一个文本块被整体跳过。

和相邻概念的区别

概念本质
ASR 幻觉听错或编造文本
普通发音错误多音字、音素不准,但顺序基本正确
TTS 重复与漏读文本与语音序列结构性失配,顺序和覆盖出错

怎么缓解:alignment 与停顿控制

AI 词典:Alignment">Alignment(对齐)的目标,是让每个文本 token 和声学帧保持单调、稳定的对应关系。常见做法包括单调对齐约束、时长预测器(duration predictor)、注意力限制,以及长文本切分后保留全局位置信息。简单说,就是给模型一根“手指”,让它别乱跑。

Pause control(停顿控制)则是在标点、分句、段落处插入显式停顿或静音时长,给模型“换气”和重置状态的机会。工程上还可以:合理分句,限制单次生成长度,做标点与数字归一化,把缩写展开,必要时用 SSML 的 break 或停顿标记,具体支持范围以官方页面为准。

对从业者和普通人的意义

做有声书、客服播报、长文朗读时,要重点测中后段,因为开头正常不代表后面不崩。普通人听到 TTS 突然卡住或跳字,也别只怪网络,可能是模型对齐漂移。评估时,除了人工听测,还可以做重复检测和漏字检测,把“听起来怪”变成可定位的问题。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。