品玩8月28日讯,腾讯混元官方宣布,开源端到端视频音效生成模型 Hunyuan-Foley。用户通过输入视频与文字描述,即可为视频匹配电影级音效,打破了 AI 生成视频 “无声” 的局限。
据官方介绍,Hunyuan-Foley 能精准匹配复杂声效,实现 “看懂画面、读懂文字、配准声音”,带来沉浸式视听体验。其技术亮点突出,具备多模态理解能力,可同步解析视觉内容与语义指令,动态生成环境音、拟音等;工业级应用适配短视频、影视制作、游戏开发等多领域,极大降低了专业音效设计门槛。
混元团队构建了约 10 万小时级的高质量 TV2A 数据集,并开发全面的数据处理管道,用于自动化标注和过滤音视频数据,为模型训练提供支撑,使其拥有强大的泛化能力,可在复杂视频条件下生成音画一致、语义对齐的高质量音频,包括音效与背景音乐,大幅提升视频真实感与沉浸感。此次开源延续腾讯混元 “技术普惠” 战略,开发者可通过官方渠道获取模型权重及工具链 。
