跳到主内容
快讯直播
AI智模界
AI 词典

流式语音合成(Streaming TTS):为什么第一句话几乎立刻出声

流式语音合成(Streaming TTS)指的是:文本一边往里送,音频一边往外吐,不等整段话合成完就开始播放。用户的体感是"刚点下、刚说完,声音就出来了"。

整句合成慢在哪

传统做法(离线合成,offline TTS)是一条串行流水线:文本前端做分词、注音、韵律预测;声学模型(acoustic model)把整句文字转成梅尔频谱(mel spectrogram);声码器(vocoder)再把频谱还原成波形。三步全部做完,才把一整段音频交给播放器。所以首包延迟大致等于"整句处理时间",句子越长,等得越久。

流式怎么做到边生成边送

关键是"分块 + 有状态"。

文本被切成小片段(几个字、一个短语)依次进入;声学模型改用因果结构——只依赖已经出现的内容,不看后面的字,同时把上一步的内部状态缓存下来(state cache),下一步接着算。每算出一小段频谱,立刻推给声码器;流式声码器同样只依赖历史采样点,收到多少帧就吐多少波形。音频再分块推送到播放端,播放器缓冲区里有一点就先播一点。

打个比方:整句合成像等一桌菜全做完才上菜;流式像边炒边上,第一道端上桌时,后面的还在锅里。代价是"看不到后文",切块边界处的停顿、语调和音质要额外处理;给模型留一点前瞻(lookahead)会更好听,但延迟也随之上升。

离线整句合成快速整句合成流式合成
出声时机整句算完整句算完,只是算得快第一块算完就出声
首包延迟随句子变长而增长随句子变长而增长基本与句子长短无关
韵律与音质能看到全局上下文,通常最好同左受切块和前瞻限制
典型场景有声书导出、配音短句播报语音助手、实时对话、同传

顺带区分一个容易混的指标:实时率(Real-Time Factor, RTF)小于 1 只说明"算得比播得快",并不等于流式——整句算完再播,用户照样要干等。流式是一种系统组织方式,不是单纯的"模型跑得快"。

对从业者和普通人的意义

做评估时别只看音质,先看首包延迟、块与块之间是否连贯、长文本会不会越读越漂,以及能不能被打断(barge-in)。文本前端也得流式化:增量分词、增量注音,否则前端一卡,后面全在等。对普通人来说,流式让语音交互的节奏接近真人对话——助手不必"憋"完整句才开口,实时翻译能跟着说话人一路往下走。具体实现参数与能力,以各官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。