Apple 的机器学习团队推出“Hypersim”：用于整体室内场景理解的真实感合成数据集

计算机视觉社区一直渴望找到一种方法，让计算机和人类都能够理解室内场景的复杂性。通过交互式模拟环境创建了没有真实标签的逼真合成数据集，推动了对这些环境的整体理解的快速进展。

但是现有的合成数据集和模拟器存在局限性，因此无法满足要求。这些限制包括：

• 合成数据集可以从非公开可用的 3D 资产生成，并且不包括渲染期间使用的基础 3D 资产。这些数据集的用途有限，因为它们缺乏几何学习问题所需的重要信息，例如网格形式的三角形或其他几何类型。
• 合成数据集通常无法在其数据中提供语义分割。这意味着这些段可以将像素组合在一起而不是语义上有意义的对象。它们也可能缺乏让计算机程序或人类用户了解哪些集群比另一个集群更重要的能力。
• 大多数数据集和模拟器不会将图像分解为解开的光照和着色组件，这使得它们不适合逆渲染问题。现有的合成数据集或模拟器都没有解决所有这些限制，包括那些已经开发出来以帮助更好地理解户外场景的限制。

Apple 研究人员开发了“ Hypersim”，这是一种用于整体室内场景理解的逼真合成数据集，解决了上述所有限制。

为了创建“ Hypersim ”数据集，苹果研究人员使用了由专业艺术家创建的大型合成场景存储库。生成了 461 个室内场景的 77,400 张图像，带有详细的每像素标签和相应的地面实况几何。

Hypersim 是一个数据集，可以提供具有高分辨率纹理和动态照明的逼真 3D 场景。Hypersim 数据库除了对所有图像进行密集的每像素语义实例分割外，还包括每个图像的完整场景几何、材料信息和照明信息。这些功能使 Hypersim 数据集成为任何需要直接 3D 监督的几何学习问题以及涉及对多个输入和输出模式进行推理的多任务问题的绝佳选择。

研究人员分析了各种不同级别的“Hypersim”数据集。从头开始生成整个数据集是可能的，其成本约为训练高级自然语言处理模型成本的一半。