近两年,得益于Diffusion模型在2D领域取得的巨大成功以及Objaverse系列大规模3D数据集的开源,3D物体生成领域已经进入迅速发展阶段,3D生成模型数量激增。那么,他们的生成质量究竟如何呢?
目前已有的3D评测体系大多采用基于Clip的方法,在准确性、全面性和鲁棒性方面面临着许多挑战。基于学习的自动评测体系则受到数据的制约,另一方面,语言和图像领域为我们提供了人工评测方式的新思路。
同时,为了给社区提供一些直觉上的启发,我们推出3DGen-Arena,一个公开、匿名的评测平台,集成了目前流行的19个开源3D生成模型(包括9个文生3D模型和13个图生3D模型,详情参看下图)。
在展示形式上,我们同时提供3D资产的法线图、无纹理几何图、以及贴纹理RGB图的360°环绕视频。通过将几何和纹理解耦开来,满足参与者不同的关注重点。
👇👇👇快来pick你喜欢的模型吧!
鉴于3D生成任务的复杂性,我们认为单一的评价维度并不能够满足所有需求。因此,我们划分为了以下5个独立的维度,进行多维度、全方位的评估,并沿用两两比较的方式,为所有参与的模型确定排名顺序。
除了匿名模型投票外,我们还允许参与者指定模型进行比较,以及与单个模型交互,满足社区的多样需求。
考虑到部分文生3D模型漫长的训练时长,以及我们复杂的数据后处理,目前3DGen-Arena暂不支持开放式输入的在线生成。但是,我们为社区准备了1w+个3D模型,分别由1k+条不同的prompt引导生成(文生3D和图生3D各500余条),涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等6大基础类别,囊括了绝大多数的常见物品。
另外,为了观察3D生成模型对prompt复杂程度的敏感程度,除了单个物体生成外,我们进一步设计了不同物体间的多种排列组合方式,交互方式,以及一些“微场景”。
3D生成领域是3D视觉领域的重要分支,无论是在学界还是业界,都有着广泛的应用前景和发展潜力。面对生成模型的不断推陈出新,一个全面、有效、鲁棒的评价体系是迫切需要的。
一方面, 通过质量评测,深入理解现有生成模型的优缺点,有助于挖掘潜在的发展方向,进而指导模型改进和新算法的开发,不断探索AIGC的能力边界;
另一方面,多维度的3D质量评测对实践应用有指导性作用, 便于针对不同的下游需求,把握关键维度,权衡次要维度。
现阶段,自动评价体系的提出仍面临极大挑战,需借助人工评测的帮助。如果你正在从事3D生成领域,或者对3D生成任务感兴趣,欢迎持续关注并使用我们的平台(https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena)。
我们将继续增添更多的开源、甚至闭源模型;定期维护、更新排名榜;上线支持开放式输入的在线生成服务,敬请期待!