首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【炸裂开源】昆仑万维甩出王炸!17B + 交互视频大模型 Matrix-Game 杀疯了,游戏界要变天?

昨日,人工智能领域迎来一项重大突破 —— 昆仑万维正式开源(17B+)Matrix - Game 大模型,这一模型作为 Matrix - Zero 世界模型中的可交互视频生成大模型,迅速吸引了全球目光。

它的出现,不仅为游戏世界建模带来了全新的解决方案,更为整个交互式世界生成领域树立了新的标杆。

工业界首个开源的 10B + 空间智能大模型

Matrix - Game 是工业界首个开源的 10B + 空间智能大模型,聚焦于视频生成与用户交互的深度融合,专为开放式环境中的高质量生成与精确控制而设计。

在如今这个 AI 技术日新月异的时代,空间智能作为重要前沿技术,正在重塑我们与虚拟世界的交互方式。而 Matrix - Game 的诞生,无疑是对这一趋势的有力推动。

三大核心部分构成强大能力

Matrix - Game - MC 数据集

为了让模型能够更好地学习复杂环境动态与交互模式,昆仑万维自主构建了大规模交互世界数据集 ——Matrix - Game - MC 数据集。

它包含两类关键数据:大规模无标签的 Minecraft 游戏视频,以及带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据,且这些数据具备精细的动作注释。

通过三阶段过滤机制,从 6000 小时的 MineDojo 数据中筛选出近千小时高质量无标签预训练数据,并采用探索代理和程序化模拟两种策略混合生成数千小时有标签可控监督数据,为模型的高效建模与学习提供了坚实的数据基础。

Matrix - Game 主模型

基于先进扩散模型技术,Matrix - Game 主模型构建了一个图像到世界生成框架。它能够根据用户输入,如键盘指令、鼠标移动等,生成连贯、可控的互动视频。

在生成过程中,兼顾视觉质量、时序一致性与物理合理性,让虚拟世界更加真实可信。

例如,当用户在游戏中输入前进、跳跃、攻击等指令时,模型能够迅速响应并生成相应的连贯画面,且画面中的物理效果,如重力、碰撞等,都遵循自然规律,大大提升了用户的沉浸感。

GameWorld Score 评测体系

一直以来,交互式世界生成领域缺乏系统性评测基准,昆仑万维提出的 GameWorld Score 评测体系正好填补了这一空白。

该体系从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能。

通过这一体系,可以对模型生成的虚拟世界进行客观、全面的评估,为模型的优化与改进提供科学依据,推动整个领域朝着更加规范、高效的方向发展。

全面超越同类模型,展现卓越性能

与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 相比,Matrix - Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越。

尤其是在交互可控性和物理一致性理解方面,Matrix - Game 表现得尤为出色。比如在模拟物体碰撞、重力影响等物理现象时,Matrix - Game 生成的画面更加符合现实逻辑;在用户操作角色进行复杂动作时,响应更加迅速、准确,操作体验更加流畅自然。

此外,由于融入了 Unreal 数据,Matrix - Game 在泛化到更广泛的通用游戏场景方面展现出明显优势,能够适应更多不同类型的游戏环境,为游戏开发者提供了更广阔的创作空间。

已开源,推动行业创新发展

目前,Matrix - Game 已公布技术报告及在 GitHub、HuggingFace 开源内容。这一开源举措,无疑将为全球的开发者和研究人员提供一个宝贵的资源和平台。

开发者们可以基于 Matrix - Game 进行二次开发,利用其强大的功能开发出更多具有创新性和沉浸感的应用程序。在游戏开发领域,能够构建出更加复杂、真实和可交互的游戏世界,为玩家带来前所未有的游戏体验;在影视制作方面,也可能为虚拟场景制作、特效生成等提供新的思路和工具,助力影视创作者打造更加震撼的视觉效果。

昆仑万维开源 Matrix - Game 大模型,不仅展示了其在人工智能领域的强大技术实力,更为整个行业的发展注入了新的活力。

相信在 Matrix - Game 的推动下,交互式世界生成技术将迈向新的高度,为我们带来更多精彩的虚拟世界体验。让我们共同期待基于这一模型的更多创新应用的诞生!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ObV34_QQ2ZNMcHEJjfADfvFQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券