字节跳动Seed团队推出原生音视频全双工大模型SeedRealtime

Source

品玩8月5日讯,字节跳动Seed团队今日正式推出原生音视频全双工大模型SeedRealtime。该模型采用统一架构,原生融合音频、视频与文本,实现了在连续多模态信息流上的实时交互,带来“边看、边听、边说”的全新体验。

SeedRealtime在三大核心能力上实现突破。首先是音视频联合理解,能深度融合声音、画面与时序信息,结合场景消解歧义。其次是主动的交互能力,模型可持续感知环境变化,在关键目标出现时主动提醒或介入。最后是流畅的交互节奏,模型能实时判断对话时机,有效分辨并屏蔽背景闲聊与噪声,避免误触发。

端到端人工评测显示,相比传统级联模型,SeedRealtime的对话节奏问题减少一半,单次对话的顺畅度与完整度显著提升。目前,SeedRealtime已在豆包App全量上线,率先实现音视频全双工技术的规模化落地。