5月13日,科技圈又传来一则重磅消息,昆仑万维集团正式开源了Matrix-Game大模型。这可不是个普通模型,它是专注于交互式世界生成的“尖子生”,意味着交互式世界生成技术迎来了新突破。Matrix-Game是Matrix系列在交互式世界生成领域的正式落地成果,还是工业界首个开源的10B +空间智能大模型,专门为开放式环境中的高质量生成和精准控制量身打造。昆仑万维这一开源举动,直接把交互式世界生成的技术天花板往上提了一大截,也给构建通用虚拟世界基座立了个新标杆。
Matrix-Game主要由三大部分组成,分别是:
Matrix-Game-MC数据集
、
Matrix-Game主模型
GameWorld Score评测体系
。
先说说这个Matrix-Game-MC数据集,它可是昆仑万维自己动手构建的大规模交互世界数据集。这里面装着大量的无标签Minecraft游戏视频,还有带着键盘和鼠标控制信号的Minecraft与Unreal可控视频数据,而且每一个动作都有详细的注释。有了这么丰富的数据,模型就能高效地学习和建模复杂环境的动态变化以及交互模式。
再看看Matrix-Game主模型,它可是基于先进的扩散模型技术开发出来的。只要用户给出指令,它就能生成连贯又可控的互动视频。这视频可不简单,既保证了视觉质量,在时间顺序上也非常连贯,还符合物理规律。它是通过两阶段训练策略打造出来的,先是用无标签数据进行预训练,再用标注数据进行可控训练。经过这样的训练,模型在空间理解、响应用户指令以及物理交互建模等方面都有了很大的进步。
Matrix-Game厉害的地方还在于它具备细粒度用户交互控制能力。用户想让虚拟角色前进、跳跃、攻击,或者移动视角,它都能精准操作,操作体验就跟在真实世界里一样自然。而且,它生成的视频在视觉上连贯,还严格遵循自然物理规律,像重力、碰撞这些,让用户有很强的沉浸感。另外,这个模型的泛化能力也很强,不管是不同的地形、天气,还是各种生物群系,它都能应对自如,甚至还有潜力应用到非Minecraft游戏环境中。
最后讲讲GameWorld Score评测体系。为了能系统性地评估和比较交互式世界生成模型的性能,昆仑万维提出了这个统一的评测体系。它从视频的视觉质量、时序质量、动作可控性和物理规则理解这四个维度,全面地给模型打分,填补了这个领域没有系统性评测基准的空白。在GameWorld Score评测中,Matrix-Game在视觉质量、时间一致性、动作可控性和物理规则理解这四个方面都表现得特别出色,全面超过了现有的开源基线模型Oasis和MineWorld。在双盲人评实验里,用户也更喜欢Matrix-Game生成的视频,这足以证明它在交互式世界生成领域的实力。
昆仑万维这次开源Matrix-Game大模型,无疑给交互式世界生成领域注入了一股强大的动力,相信未来在这个领域会有更多好玩的应用和成果出现。
领取专属 10元无门槛券
私享最新 技术干货