品玩12月29日讯,据 AI Base 报道,字节跳动与南洋理工大学联合发布开源AI视频生成框架StoryMem,通过“Memory-to-Video(M2V)”机制,将单镜头扩散模型升级为支持多镜头、超1分钟连贯叙事的长视频生成系统。
该框架利用动态记忆库存储关键帧信息,结合轻量LoRA微调,在角色外貌、场景风格和叙事逻辑上实现跨镜头高度一致,一致性指标较现有方法提升29%。配套发布的ST-Bench数据集含300个多镜头故事提示,支持标准化评估。社区已开始在ComfyUI中集成该技术。
品玩12月29日讯,据 AI Base 报道,字节跳动与南洋理工大学联合发布开源AI视频生成框架StoryMem,通过“Memory-to-Video(M2V)”机制,将单镜头扩散模型升级为支持多镜头、超1分钟连贯叙事的长视频生成系统。
该框架利用动态记忆库存储关键帧信息,结合轻量LoRA微调,在角色外貌、场景风格和叙事逻辑上实现跨镜头高度一致,一致性指标较现有方法提升29%。配套发布的ST-Bench数据集含300个多镜头故事提示,支持标准化评估。社区已开始在ComfyUI中集成该技术。