【Science】深度残差网络SurfNet将2D图像转变为现实物体

【新智元导读】Science近日介绍了 CVPR上的最新计算机视觉研究成果。新的机器学习算法能学会如何将包含了3D物体的照片“翻译”成2D平面，最终又将这些2D平面组合成3D的形式。未来的应用可能包括为虚拟和增强现实设计对象，创建房间的3D地图用于机器人导航，以及设计通过手势控制的计算机接口。

看着一张照片，想象照片里面物体（人、汽车和狗等等）的 3D 形状，对人来说并不是难事。但是，缺乏现实世界经验的计算机却显然还没有那么聪明。

现在，科学家们创造了一个新的“转化”的方法，让计算机离具备这种能力又更进了一步。他们从教一个算法将3D物体看成2D平面开始。例如，想象一下，一个多山的地球，把它变平成矩形地图，表面上的每个点都显示纬度，经度和高度。

经过这样的训练，新的机器学习算法能学会如何将包含了3D物体的照片“翻译”成2D平面，最终又将这些2D平面组合成3D的形式。（图中的飞机）

研究人员训练这一算法，让它几乎可以重构任何汽车，飞机和手势。虽然早期的方法把轿车变成了两厢车，并把飞机变成了鸟（见上面的第二排飞机），但是这种新方法可以更准确地推断出照片中的3D形状。

研究人员在2017年的CVPR上报告了这一最新的研究成果，称为SurfNet新项目。

这一算法也可以为汽车，飞机和手发明全新的，逼真的3D形状。未来的应用可能包括为虚拟和增强现实设计对象，创建房间的3D地图用于机器人导航，以及设计通过手势控制的计算机接口。

CVPR论文：使用深度残差网络生成3D物体表明

3D形状模型使用顶点和面来进行自然参数化，即由形成表面的多边形组成。然而，当前使用卷积神经网络来完成预测和生成任务的 3D学习范式只聚焦于对象的体素化表示。

传统的2D到3D的转化需要的卷积计算导致很高的计算开销，而且几乎没有几何信息被包含在表面边界上。在这里，我们研究使用深卷积神经网络直接生成刚性和非刚性形状的3D形状表面。

我们开发了一个程序来创建一致的“几何图像”，它领域表示3D物体类别的表面形状。然后，我们通过开发用于几何图像生成任务的深度残留网络的新扩展，从参数表示或图像中对特定类别的物体形状表面生成使用这种一致性的表示。

我们的实验表明，我们的网络学习了形状表面的有意义的表示，允许它在形状取向和姿势之间进行插值，发明新的形状表面，并从先前看不见的图像重建3D形状表面。

论文地址：https://arxiv.org/pdf/1703.04079.pdf