首页
学习
活动
专区
圈层
工具
发布

刚刚,李飞飞创业首个项目引发众人围观:单图即可生成交互 3D 场景,空间智能时代来临

就在北京时间今日凌晨时分,声名远扬的 AI 学者、斯坦福大学教授李飞飞对外公布了其首个创业项目。

这是一个具备神奇魔力的项目,它能够凭借单张图片或者仅仅一句话,便生成一个栩栩如生的 3D 世界。

也正因如此,生成式 AI 自此迈入了一个全新的时代 ——3D 化且完全沉浸式的时代。

那么仅仅凭借一张图所生成的 3D 世界,其精细程度究竟会达到怎样的水准呢?World Labs 给出的说法是,呈现出来的效果是这般模样:

在此之前,我们已然见证了一系列能够制作 2D 内容的生成式 AI 工具,它们可以输出图像或者视频。与之相比,能够直接生成 3D 内容的方法就显得较为少见了。直接生成 3D 内容能够提升对内容的掌控力以及内容本身的一致性,这将会改变我们制作电影、游戏、模拟器以及其他物理世界数字表现形式的方式。

网友们纷纷对 World Labs 的首个项目表示看好,觉得它不仅看上去十分炫酷,而且极具发展前景。

纽约大学助理教授谢赛宁曾言:“想象具有生成性特质,而控制则呈现为 3D 形态。”

的确,一旦我们将 AI 生成的内容提升至 3D 物体的层面,“想象力”与可操作性便终于实现了统一。这一突破犹如开启了一扇通往无限可能的大门,为未来的无数应用场景奠定了基础。

在 World Labs 的博客中,该团队向世人展示了他们对 3D 生成式世界的探索历程。他们成功地在浏览器中实时呈现出令人惊叹的成果,其中包括逼真的相机效果、震撼的 3D 效果以及对经典绘画的独特演绎。

探索世界

以下展示的是由奇幻图片和日常照片生成的 3D 世界的一些官方示例。

相机效果

一旦场景生成完毕,后续便会运用虚拟相机在浏览器中进行实时渲染。对该虚拟相机进行精确控制能够实现艺术摄影般的效果。

其中,可以模拟景深效果,即只有处于与相机特定距离范围内的物体才能够聚焦清晰:

此外,还能够模拟滑动变焦效果,在这一过程中同时对摄像机的位置和视野进行调整。

3D 效果

大多数生成模型通常预测像素,然而,预测 3D 场景则具有诸多显著优势:

持久现实:一旦成功生成一个世界,这个世界便会持续存在。即使你将视线移开后再度回来,场景也不会发生任何改变。这意味着所生成的 3D 世界具有高度的稳定性和持久性,为用户提供了一个可靠的虚拟环境,可以随时返回进行探索和体验。

实时控制:在生成场景之后,人们可以在这个场景中进行实时移动。既可以专注于一朵花的细节之处,细细品味其精致的纹理和色彩,也可以悄悄窥探角落里的一举一动,发现那些容易被忽略的小惊喜。这种实时控制的能力赋予了用户极大的自由度和互动性,使得他们能够根据自己的兴趣和需求自由地探索和体验 3D 场景。

正确的几何形状:生成的世界严格遵循三维几何的基本物理规则。它们具备实实在在的实体感和深度感,与某些人工智能生成的视频所具有的梦幻性质形成了鲜明的对比。这种符合物理规则的特性使得生成的 3D 场景更加真实可信,为用户带来更加沉浸式的体验。

而可视化 3D 场景的最为简单的方法之一便是绘制深度图。在深度图中,每一个像素都依据其与摄像头的距离进行着色

我们可以利用 3D 场景结构来构建交互效果:

还可以构建特效,让场景活跃起来:

走进世界名画

“World generation(世界生成)” 还有一种应用方式,即体验标志性艺术作品。这里展示的是根据梵高、霍珀、修拉以及康定斯基等人的最具代表性的作品所生成的内容。值得注意的是,该模型在生成过程中没有生成原画之外的任何东西。

创意工作流

World Labs 使得 3D 世界生成能够自然地与其他人工智能工具组合在一起。这样一来,创作者便可以运用他们所熟知的工具来实现全新的体验。

例如,可以先通过使用文本到图像模型生成图像,进而从文本创建世界。不同的模型有着各自独特的风格,而 World Labs 生成的 3D 世界能够继承这些风格。

比如,使用不同的文本到图像模型生成同一场景的四个变体,全部采用相同的提示:

一间充满活力的卡通风格的青少年卧室,床铺上铺着彩色毯子,有一张杂乱的桌子,上面摆放着一台电脑,墙上贴着海报,还有散落的运动装备。一把吉他靠在墙上,房间中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。

通过这种方式,创作者可以利用不同模型的风格特点,为同一个场景赋予多样化的表现形式,从而拓展创作的可能性和丰富度。这种组合使用不同 AI 工具的方法,为创意的实现提供了更多的途径和选择,推动了数字创作领域的不断创新和发展。

对此,你怎么看?

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OD8c8_SQVubuDd06GYhKBPsg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券