语音时长预测(Duration Prediction)是语音合成(TTS)里,决定「每个音素、音节或字该说多久」的模块。它不只管总语速,更管局部节奏:哪里该快、哪里该慢、哪里该停。
原理
TTS 一般先把文本变成音素序列,再预测每个音素的时长,声学模型据此生成声学特征,声码器最后合成波形。可以把它想成配音导演给演员的台词本:每个字旁边标了节拍,标点处留气口。没有这份节拍表,模型要么平均分配时长,听起来像机器人念经;要么对齐不稳,有的字挤成一团,有的字拖成长音。
为什么会有「赶」和「拖」
常见原因有几类:
- 文本前端出错:数字、多音字、英文缩写、标点、韵律边界判断错。该停没停,后半句就赶;不该停却停久,就拖。
- 训练数据语速单一:模型只学了一种平均语速,遇到长句自动压缩,遇到短句又拉长。
- 重音和焦点没建模:重点词该放慢、非重点该加快。如果重音标错,听感就会别扭。
- 时长与声学不匹配:时长预测了某个长度,声学模型或声码器没跟上,辅音被吞、韵母拖尾。
- 全局语速控制冲突:用户把语速调快,局部时长被过度压缩,该有的停顿也消失。
和相邻概念的区别
| 概念 | 回答的问题 | 常见输出 |
|---|---|---|
| 时长预测 | 每个音说多久 | 每音素/音节的帧数或秒数 |
| 韵律预测 | 哪里停、哪里重、语调怎么走 | 边界、重音、音高曲线 |
| 对齐 | 文本和语音怎么对应 | 音素-帧对应关系 |
| 声学模型 | 这些音长什么样 | 梅尔谱等声学特征 |
| 声码器 | 怎么变成波形 | 音频 |
实际意义
对从业者,时长预测是可控 TTS 的把手。有声书、导航播报、视频配音常要求总时长可控、停顿自然,不能只盯自然度,还要看节奏评估。调试时先查文本前端和韵律边界,再看时长模型,最后查声学模型与声码器。
对普通人,AI 配音「赶」或「拖」往往不是单纯语速问题,而是局部时长分配不均。好的合成像真人:长句会换气,重点词会放慢,标点处有停顿。具体系统能力与接口,以官方页面为准。
