一句话定义：RNN-T（Recurrent Neural Network Transducer，循环神经网络转换器）是一种把声音直接映射成文字的端到端语音识别架构；它的特点是不必等一句话说完，每收到一小段音频就能吐出几个字，因此成了流式识别（边说边转写）的经典选择。
它是一个“边听边写”的速记员
RNN-T 由三个部件组成，可以想象成一位同传速记员在工作：
- 编码器（encoder）：耳朵。把每 20～40 毫秒的声学帧压成向量，通常只使用过去的信息（causal），保证不等未来。
- 预测网络（prediction network）：记忆。只看“已经写出来的字”，预测下一个字大概会是什么。它相当于内置了一个小型语言模型，因此能利用上下文去补“人名、术语、口语化表达”。
- 联合网络（joint network）：决策。把“刚听到的声音”和“已经写了什么”拼在一起，判断下一步是输出一个真正的字，还是输出一个 blank（空符号，表示“再等等，还没听清”）。
于是流程就是：听一小段 → 结合已写内容 → 要么写字，要么等 → 继续听。延迟通常只是几百毫秒。
训练时的难点：对齐未知
语音和文字的长度对不上，而且不知道哪个字对应哪几帧。RNN-T 的做法是：把所有可能的“帧—字”对齐路径全部枚举，用前向-后向算法把它们的概率加起来，作为这句话的似然。这样就不需要人工标注对齐，代价是训练时要维护一个 T×U 的网格（T 为音频帧数，U 为输出长度），显存和算力开销明显高于 CTC，工程实现也更复杂。
与相邻概念的取舍
| CTC | RNN-T | 注意力编码解码器（AED，如 LAS 一类） | |
|---|---|---|---|
| 对齐假设 | 单调，每帧独立预测 | 单调，但输出不依赖帧数 | 用注意力自由对齐，不保证单调 |
| 输出长度 | 不能超过输入帧数，靠 blank 折叠重复 | 同一帧可以连续输出多个字 | 不受限 |
| 是否建模标签历史 | 不建模（常需外挂语言模型） | 建模（预测网络） | 建模（解码器） |
| 流式能力 | 容易 | 天然支持 | 较差，通常需要分块并做额外改造 |
| 精度倾向 | 较弱，易受噪声和同音干扰 | 强，尤其适合专有名词 | 离线场景往往最强 |
一句话概括取舍：CTC 简单快但不够准；AED 准但要听完再说；RNN-T 取中间——用自回归换来准确率，同时保住低延迟。
对从业者和普通人的意义
- 对工程师：做实时字幕、语音输入法、电话客服转写时，RNN-T 往往是默认选择。需要注意它的解码是“逐帧 + 逐标签”的，推理优化（如缓存编码器状态、批处理变长输出）是实际部署的关键；很多基于 RNN-T 的模型还会把编码器换成 Conformer 之类的结构，具体以各家官方文档为准。
- 对普通人：你在手机上按住说话、看到文字几乎同步跳出来，背后大概率就是这类“边听边出字”的架构，而不是把整段录音传上去等结果。它决定了语音输入能不能像打字一样“有反馈感”。