跳到主内容
快讯直播
AI智模界
开源

EmbeddingGemma 2 被改造为语音转文字模型

一个开源项目页面(eg2.haku.sh)显示,作者将 AI 词典:Embedding">EmbeddingGemma 2 改造成了语音转文字(speech-to-text)模型。页面目前给出的说明只有一句话:“We turned EmbeddingGemma 2 into a speech-to-text model”,除此之外,公开信息中未见模型规模、训练数据、微调方法与评测结果等细节。

这件事值得关注的点在于方向。EmbeddingGemma 本身面向文本嵌入任务,输出的是用于检索、聚类和相似度计算的向量表示,而不是可直接阅读的文本。要让同一套表征能力承接从音频信号到文字序列的映射,意味着要在原有预训练表征之上重建输入侧与输出侧的处理方式。语音识别长期由专门设计的编码器—解码器架构主导,如果一个通用嵌入模型经过改造就能完成转写,说明预训练表征可能存在跨模态迁移的空间,开源社区也有机会用相对更低的训练成本切入语音方向。

不过,在权重、代码与评测公开之前,这一项目更宜被看作值得跟踪的实验性尝试,而非已经验证的可用方案。没有词错率等指标,也没有与既有语音识别基线的对比,效果与适用范围都还是未知数。

对 AI 从业者来说,下一步可以留意的信号包括:是否放出模型权重与推理代码、是否公开评测集与基线对比、以及改造思路究竟是仅替换输出头,还是重做了声学前端与对齐方式。这些将决定它是一次有趣的演示,还是能真正进入低成本语音转写选型的一个选项。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。