商汤日日新SenseNova U1正式开源,引领原生多模态统一范式

Source

品玩5月8日讯,商汤科技正式发布并开源商汤日日新SenseNova U1系列模型。该系列基于自主研发的NEO-unify架构,彻底摒弃传统拼接式设计,去除视觉编码器(VE)和变分自编码器(VAE),在单一模型架构上实现了多模态理解、推理与生成的原生统一。

SenseNova U1系列模型能够将语言与视觉信息作为统一复合体直接建模,实现高效协同。本次开源的SenseNova U1 Lite包含基于稠密骨干网络的SenseNova-U1-8B-MoT及基于混合专家(MoE)骨干网络的SenseNova-U1-A3B-MoT两款模型。实验结果显示,其在多项基准测试中均达到同量级开源模型SOTA水平,甚至以较小规格超越部分大型商业闭源模型。

该模型还实现了业内首创的连续性图文创作输出,仅需单次单模型调用即可完成高质量作品。目前,SenseNova U1已上线GitHub与Hugging Face,办公小浣熊亦同步开放体验。