Hume AI开源TADA模型,实现高可靠低延迟语音合成

Source

品玩3月12日讯,Hume AI正式开源其新型文本到语音(TTS)系统TADA(Text-Acoustic Dual Alignment),旨在解决当前大语言模型(LLM)驱动语音合成中速度、质量与可靠性难以兼顾的核心问题。

TADA创新性地采用文本-声学一对一同步对齐机制,将每个文本词元直接映射至一个连续声学向量,避免传统方法因音频帧远多于文本导致的上下文膨胀与内容错漏。该架构使TADA在NVIDIA硬件上实现实时因子(RTF)0.09,生成速度超同类系统5倍以上,并在LibriTTSR测试集中实现零幻觉(无跳字、插词或失真)。

评估显示,TADA在自然度与说话人相似度方面表现优异,且模型轻量化,支持端侧部署。其高效上下文利用能力可处理长达700秒的语音,适用于长篇叙述与多轮对话场景。

目前,TADA已支持英语及七种其他语言,代码与预训练模型已公开发布,面向医疗、金融等对可靠性要求严苛的领域提供新解决方案。