AI代替打工人？ 文生3D模型Meta 3D Gen 怎么样

近年来，生成式AI迅速发展，AI文生视频、AI文生音频等AI工具相应被研发出来。近日，文生3D赛道出现了一个实力强劲的产品，它就是Meta最新发布的文生3D模型Meta 3D Gen (3DGen)。3DGen号称能在1分钟时间里根据文本提示词快速生成3D资产（指制作3D动画的数字化资源，如3D模型、纹理贴图、材质等），包括高质量纹理和基于PBR材质（基于物理的渲染）贴图的3D Mesh。

据Meta方面介绍，3DGen能够在不到1分钟的时间，根据文本提示词快速生成具有高分辨率纹理和材质贴图的3D内容。此外，它还能在同一3D形状的基础上调整纹理贴图，帮助创作者实现快速迭代。技术报告中称，专业3D艺术家在大多数类别中对该工具的评分都好于竞争对手，特别是对于复杂的请求。Meta表示，它的速度是同类系统的3到60倍。

Meta 3D Gen支持基于物理的渲染 (PBR)，这是在实际应用中重新照明 3D 资产所必需的。此外，3DGen 还支持使用用户提供的额外文本输入对先前生成的(或艺术家创建的)3D 形状进行重新纹理化。

那么，3D Gen的运行原理是什么呢?

其实，Meta 3D Gen是一个两阶段的3D资产生成方法，它通过结合Meta 3D AssetGen和Meta 3D TextureGen两个关键组件，能够高效地创建具有高分辨率纹理和PBR材质的3D资产，其速度比现有解决方案快3至10倍。其实现方法包括一个用于创建3D网格的组件(AssetGen)和一个用于生成纹理的组件(TextureGen)。

第一阶段在用户提示下创建初始3D资产，推理时间约为30秒。第二阶段基于第一阶段生成的资产和初始文本提示，生成更高质量的纹理和PBR贴图，推理时间约为20秒。第二阶段还可以从头开始为无纹理的3D网格生成纹理，推理时间约为20秒，但视觉效果通常更逼真。

而且，3DGen以AssetGen和TextureGen为基础，将3D对象的三个关键信息进行了很好的互补：视图空间(对象的图像)、体积空间(3D形状和外观)和UV空间(纹理)。此过程从AssetGen开始，通过使用一个多视角和多通道的文本到图像生成器，生成关于物体的几个相对一致的视图。接下来，AssetGen中的一个重建网络会在体积空间中提取出3D对象的第一个版本。此过程接着进行网格提取，建立对象的3D形状和其纹理的初步版本，这一系列步骤构成了从文本描述到3D模型的转换过程。最终，TextureGen 件利用视图空间和UV空间生成的组合来重新生成纹理，提高纹理质量和分辨率，同时保持对初始图像的保真度。

Meta的3D Gen的潜在应用是巨大的。游戏开发人员可以用3D Gen快速制作游戏环境和角色原型，建筑可视化公司则只需要文本描述，就能生成建筑物整体和内部的详细3D模型，简化设计流程。目前来看，3D Gen还处于一个比较初级的阶段，经过发展之后，我们相信它将会对整个行业发展产生更大的影响。未来在3D内容领域会不会全面部署AI来完成任务呢?我们拭目以待。

相关素材整理于科技旋涡《失业率还要增加？又一行业或被AI颠覆》一文